KR102581415B1 - UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof - Google Patents

UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof Download PDF

Info

Publication number
KR102581415B1
KR102581415B1 KR1020220139316A KR20220139316A KR102581415B1 KR 102581415 B1 KR102581415 B1 KR 102581415B1 KR 1020220139316 A KR1020220139316 A KR 1020220139316A KR 20220139316 A KR20220139316 A KR 20220139316A KR 102581415 B1 KR102581415 B1 KR 102581415B1
Authority
KR
South Korea
Prior art keywords
test
terminal
ubt
candidate
facial
Prior art date
Application number
KR1020220139316A
Other languages
Korean (ko)
Other versions
KR20230007249A (en
Inventor
이언주
신승용
박기남
Original Assignee
(주)엔에스데블
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엔에스데블 filed Critical (주)엔에스데블
Priority to KR1020220139316A priority Critical patent/KR102581415B1/en
Publication of KR20230007249A publication Critical patent/KR20230007249A/en
Application granted granted Critical
Publication of KR102581415B1 publication Critical patent/KR102581415B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • G06Q50/265Personal security, identity or safety
    • G06Q50/30
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50Business processes related to the communications industry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)

Abstract

부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 시스템 및 그 방법이 개시된다. 상기 UBT 시스템은 시험 응시자 정보와 사진을 등록받고, 응시자의 응시표에 부착되는 QR 코드를 발급하며, UBT 시험을 실시하기 위한 시험 프로그램을 제공하는 UBT 시험 서버; 상기 UBT 시험 서버에 유무선 통신망을 통해 연결되며, 안면인식 모듈과 눈2/코/귀2의 얼굴 특징점 5점 척도 부정행위 방지 모듈을 구비하는 응시자 단말; 및 감독관 단말을 포함한다. 상기 응시자 단말은 상기 안면인식 모듈과 상기 부정행위 방지 모듈을 구비하며, 상기 부정행위 방지 모듈은 실시간으로 응시자 단말의 카메라 비전 영상 데이터의 시각적인 부정행위 검출 모듈과 청각적인 부정행위를 검출하는 음성 인식 모듈을 구비한다.
안면인식 모듈과 눈2/코/귀2의 얼굴 특징점 5점 척도 부정행위 방지 모듈이 탑재되는 태블릿 PC, 스마트폰 기반의 UBT 시험에서, 대리 시험이나 부정행위를 방지하도록 AI 기반 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 응시자 단말에서 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하여 추적하여 얼굴의 행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 태블릿 PC의 카메라 영상이 촬영되는 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 수치를 넘는 경우) 해당 응시자 단말로 경고 메시지 또는 알람을 출력하거나, 또는 시험지 작성 답안을 해당 응시자 단말의 정보 기기에 저장 후 시험 종료시 이를 각각의 응시자 단말로부터 UBT 시험 서버로 전송하고, 응시자들에게 채점 결과를 제공한다.
A UBT system and method using facial contour recognition artificial intelligence to prevent fraud are disclosed. The UBT system includes a UBT test server that registers test taker information and photos, issues a QR code attached to the test taker's test ticket, and provides a test program for conducting the UBT test; A test taker terminal connected to the UBT test server through a wired or wireless communication network and equipped with a facial recognition module and a cheat prevention module with a 5-point scale of facial feature points of eyes2/nose/ears2; and a supervisor terminal. The candidate terminal is equipped with the facial recognition module and the cheating prevention module, and the cheating prevention module includes a visual cheating detection module of camera vision image data of the candidate terminal in real time and a voice recognition that detects audible cheating. Equipped with a module.
In UBT tests based on tablet PCs and smartphones, which are equipped with a facial recognition module and a 5-point scale of facial feature points for eyes2/nose/ears2 and an anti-cheating module, AI-based facial contour recognition technology ( posenet algorithm), the test taker's terminal recognizes the outline of the test taker's face and the eye 2/nose/ear 2 feature points, and detects head movement to the right/left depending on whether the eye/nose 3 points approach the ear 2 points at either end. It tracks and detects facial behavior patterns, and if the facial outline is not recognized during face recognition, or if the tablet PC's camera image deviates from the test screen where it is captured (whether the 3 points of the eyes/nose are close to the 2 points of the ears at either end), Accordingly, if the distance in the relevant direction (eye-to-ear distance or nose-to-ear distance exceeds a certain value), a warning message or alarm is output to the test taker's terminal, or the answers written on the test paper are saved to the information device of the test taker's terminal and the test is completed. This is transmitted from each test taker's terminal to the UBT test server, and the scoring results are provided to the test takers.

Description

부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 시스템 및 그 방법{UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof}UBT system using face contour recognition AI to prevent the cheating behavior and method thereof}

본 발명은 부정행위를 방지하는 인공지능을 사용한 UBT 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 인공지능 안면인식 모듈과 얼굴의 특징점 5점 척도 부정행위 방지 모듈이 탑재되는 태블릿 PC, 스마트폰 기반의 UBT 시험에서, 대리 시험이나 부정행위를 방지하도록 AI 기반 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 응시자 단말에서 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하여 추적하여 얼굴의 행동 패턴을 검출하는 인공지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정행위 방지 모듈이 탑재되며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 태블릿 PC의 카메라 영상이 촬영되는 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 수치를 넘는 경우) 경고 메시지 또는 알람을 출력하거나, 또는 해당 응시자 단말의 정보 기기에 저장후 시험 종료시 시험 서버로 전송하고, 응시자들에게 채점 결과를 제공하는, 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 태블릿 PC, 스마트폰, PC 기반 UBT 시스템 및 그 방법에 관한 것이다.The present invention relates to a UBT system and method using artificial intelligence to prevent cheating. More specifically, it relates to a tablet PC and smartphone-based tablet PC equipped with an artificial intelligence facial recognition module and a cheat prevention module with a 5-point scale of facial features. In the UBT test, to prevent proxy testing or cheating, AI-based facial outline recognition technology (posenet algorithm) is used to recognize the test taker's facial outline and eye2/nose/ear2 feature points on the test taker's terminal, and eye/nose/ear2 feature points. An artificial intelligence facial recognition module that detects and tracks facial behavior patterns by detecting and tracking head movement to the right/left depending on whether the 3 points of the nose are close to the 2 points of the ears at either end, and the outline of the face and the eye2/nose/ear2 face. It is equipped with a fraud prevention module on a 5-point scale of feature points, and when the facial outline is not recognized during face recognition, or when the tablet PC's camera image deviates from the test screen where it is captured (the 3 points of the eyes/nose are close to the 2 points of the ears at both ends), If the distance in the relevant direction (eye-to-ear distance or nose-to-ear distance exceeds a certain value), a warning message or alarm is output, or stored in the information device of the test taker's terminal and sent to the test server at the end of the test, and the test taker This is about a tablet PC, smartphone, PC-based UBT system and method using facial contour recognition artificial intelligence that provides scoring results to users and prevents cheating.

얼굴 인식(Face Recognition) 기술은 형상 기반 매칭 방법(appearance based matching method), 및 특징(faeture) 기반의 얼굴 인식이 주로 사용된다. 얼굴 인식은 카메라의 촬영 각도, 조명의 방향, 자세, 표정의 변화 및 시간에 따른 얼굴의 변화에 따라 다르게 인식된다.Face recognition technology mainly uses appearance-based matching method and feature-based face recognition. Face recognition is recognized differently depending on the camera's shooting angle, direction of lighting, posture, changes in expression, and changes in the face over time.

특징(faeture) 기반의 얼굴 인식은 디지털 카메라, IoT 디바이스의 카메라 또는 스마트폰의 카메라로 촬영된 영상 데이터를 Haar-like feature를 이용한 검출 방법과 MCT(Modified Census Transform) 영상을 이용한 검출 방법이 사용된다. 스마트폰의 카메라의 입력 영상에서 Haar-like feature로 학습된 얼굴 및 눈 검출기를 사용하여 얼굴의 윤곽선과 이마/눈/코/입을 검출하고, 원형의 눈동자를 검출하기 위해 관심 영역(ROI, Region of Interest)으로 설정된 눈 영역을 grayscale로 변환하며, 눈 영역에서 눈동자와 눈의 외곽선 영역이 추출되는 실험에 의한 통계적인 임계값(threshold)을 사용하여 눈 이미지의 histogram[x축 각 픽셀의 화소값, y축 해당 화소 값의 갯수]을 구하고 눈의 이미지를 이진화(binarization)한 후, 히스토그램 평활화(histogram equalization)를 통해 눈 영역의 사진의 전처리를 수행하며, 얼굴 영역에서 눈썹과 눈, 코, 입, 윤곽선의 얼굴 특징 얼굴데이터를 검출하고, 텍스처 특징(Texture Faetures)과 형상 특징(Shape Features)을 추출하여 얼굴 인식 DB에 저장된 얼굴 사진의 특징점들과 유사도를 비교하여 얼굴이 인식된다.Feature-based face recognition uses a detection method using Haar-like features and a detection method using MCT (Modified Census Transform) images from image data captured with a digital camera, IoT device camera, or smartphone camera. . Using a face and eye detector learned with Haar-like features from the input image of the smartphone camera, the outline of the face and forehead/eyes/nose/mouth are detected, and the region of interest (ROI) is used to detect circular pupils. Interest) is converted to grayscale, and the histogram of the eye image (pixel value of each pixel on the x-axis, After calculating the number of corresponding pixel values on the y-axis and binarizing the eye image, preprocessing of the photo in the eye area is performed through histogram equalization, and in the face area, eyebrows, eyes, nose, mouth, The face is recognized by detecting the face data of the facial features of the outline, extracting the texture features and shape features, and comparing the similarity with the feature points of the face photo stored in the face recognition DB.

얼굴 영역의 눈썹과 눈, 코, 입, 턱의 특징 값은 Haar-like feature의 흰 영역에서 포함되는 픽셀들의 합에서 검은 영역에서 포함되는 픽셀의 합의 차로 표현된다. The feature values of the eyebrows, eyes, nose, mouth, and chin in the face area are expressed as the difference between the sum of pixels included in the white area of the Haar-like feature and the sum of the pixels included in the black area.

예를들면, 표준 크기의 얼굴 영역 사진에서 검출된 눈 영역에서 오른쪽과 왼쪽 눈의 양쪽 끝점 까지의 거리, 허프 원 변환(hough circle transform) 알고리즘을 사용하여 추출된 눈동자(iris)의 크기 값이 특징 값으로 사용된다.For example, the distance from the eye area detected in a standard-sized face area photo to both endpoints of the right and left eyes, and the size value of the pupil (iris) extracted using the Hough circle transform algorithm are characteristics. Used as a value.

이와 관련된 선행기술1로써, 특허 공개번호 10-2017-0050465에서는 "얼굴 인식 장치 및 방법"을 개시하고 있습니다.As prior art 1 related to this, Patent Publication No. 10-2017-0050465 discloses “Face recognition device and method.”

본 실시예에 의하면, 기계 학습을 이용하여 입력 영상으로부터 얼굴을 인식함에 있어서, 얼굴 포즈 및 원근감을 정규화하여 얼굴 인식률을 향상시키고, 얼굴 학습 데이터로서 가상 얼굴 영상을 자동으로 생성하여 얼굴 학습 데이터를 획득하는데 드는 비용 및 시간을 절약하는 얼굴 인식 장치 및 방법을 제공한다. According to this embodiment, when recognizing a face from an input image using machine learning, the face recognition rate is improved by normalizing the face pose and perspective, and a virtual face image is automatically generated as face learning data to obtain face learning data. Provides a facial recognition device and method that saves cost and time.

도 1은 기존 얼굴 인식 장치의 구성도이다. 1 is a configuration diagram of an existing face recognition device.

얼굴 인식 장치(100)는 영상 표시 장치, 영상 촬영 장치, 얼굴인식 서버, 태블릿 PC, 랩톱(Laptop), 개인용 PC, 스마트폰, 개인 휴대용 정보단말기(PDA: Personal Digital Assistant), 이동통신 단말기, 및 지능형 로봇(Intelligence Robot) 등 중 어느하나일 수 있다.The face recognition device 100 is an image display device, an image capture device, a face recognition server, a tablet PC, a laptop, a personal PC, a smartphone, a personal digital assistant (PDA), a mobile communication terminal, and It may be one of intelligent robots, etc.

얼굴 인식 장치(100)는 카메라로부터 입력되는 입력 영상을 획득하는 입력 영상 획득부(112); 상기 입력영상에서 얼굴영역을 검출하여 얼굴 포즈(Pose)를 정규화함으로써 정면 포즈 영상을 생성하고, 상기 카메라와 피사체 간의 거리에 따른 원근왜곡(Perspective Distortion)을 제거하기 위하여 상기 정면포즈 영상의 원근감(Perspective)을 정규화하여 정규화 영상을 생성하는 정규화부(114); 상기 정규화 영상으로부터 상기 피사체의 얼굴을 표현하는 특징 벡터(Feature Vector)를 추출하는 특징 벡터 추출부(116); 및 기 학습된 분류모델에 상기 특징 벡터를 적용하여 상기 입력영상에 포함된 상기 피사체의 얼굴을 인식하는 얼굴인식부(118)를 포함한다.The face recognition device 100 includes an input image acquisition unit 112 that acquires an input image from a camera; A front pose image is generated by detecting the face area in the input image and normalizing the face pose, and the perspective of the front pose image is used to remove perspective distortion depending on the distance between the camera and the subject. ) a normalization unit 114 that normalizes and generates a normalized image; a feature vector extraction unit 116 that extracts a feature vector representing the face of the subject from the normalized image; and a face recognition unit 118 that recognizes the face of the subject included in the input image by applying the feature vector to a previously learned classification model.

입력 영상 획득부(112)는 카메라로부터 입력 영상을 획득한다. 카메라는 깊이인식 카메라, 스테레오 카메라, 및 컬러 카메라일 수 있다(예를 들면, 키넥트(Kinect) 카메라 등). 또한, 입력 영상은 인식 대상이 되는 피사체의 얼굴이 포함된 영상으로서 2차원 정지영상 및 동영상을 포함한다. 입력 영상은 컬러 영상, 깊이 영상, 또는 컬러-깊이(RGB-D) 영상을 포함할 수 있다.The input image acquisition unit 112 acquires an input image from a camera. The cameras may be depth perception cameras, stereo cameras, and color cameras (e.g., Kinect cameras, etc.). Additionally, the input image is an image containing the face of a subject to be recognized and includes a two-dimensional still image and a moving image. The input image may include a color image, a depth image, or a color-depth (RGB-D) image.

정규화부(114)는 입력 영상으로부터 얼굴 영역을 검출하고, 얼굴 포즈(Pose) 및 원근감(Perspective)을 정규화하여 정규화 영상을 생성한다. 얼굴 포즈에 변화가 있는 경우, 그레이 스케일, 형상, 특징점들의 위치 등이 달라지기 때문에 얼굴인식률이 저하된다. 또한, 카메라와 피사체와의 거리가 달라지면, 동일한 피사체라 하더라도 촬영된 위치마다 원근 왜곡(Perspective Distortion, 뒤틀림)이 다르게 발생하므로, 다른 피사체를 촬영한 것처럼 보이기도 한다. 따라서, 얼굴 인식률을 향상시키기 위해 입력 영상의 얼굴 포즈 및 원근감을 정규화할 필요가 있다. The normalization unit 114 detects the face area from the input image and normalizes the face pose and perspective to generate a normalized image. If there is a change in the face pose, the gray scale, shape, and location of feature points change, so the face recognition rate deteriorates. Additionally, if the distance between the camera and the subject changes, even if it is the same subject, different perspective distortions occur at each photographed location, making it appear as if a different subject was photographed. Therefore, it is necessary to normalize the facial pose and perspective of the input image to improve the face recognition rate.

정규화부(114)는, 다양한 포즈의 학습용 얼굴영상을 제1 인공신경망의 입력층에 입력하고, 정면포즈의 학습용 얼굴영상이 상기 제1 인공신경망의 출력층에서 출력되도록 상기 제1 인공신경망을 학습시키는 얼굴 포즈 정규화 학습부; 및 상기 제1 인공신경망의 출력층에서 출력된 데이터를 제 2 인공신경망의 입력층에 입력하고, 원근왜곡이 없는 학습용 얼굴영상이 상기 제 2 인공신경망의 출력층에서 출력되도록 상기 제2 인공신경망을 학습시키는 원근감 정규화 학습부를 포함한다. The normalization unit 114 inputs facial images for learning in various poses to the input layer of the first artificial neural network, and trains the first artificial neural network so that facial images for learning in the frontal pose are output from the output layer of the first artificial neural network. Face pose normalization learning unit; And inputting data output from the output layer of the first artificial neural network to the input layer of the second artificial neural network, and training the second artificial neural network so that a facial image for learning without perspective distortion is output from the output layer of the second artificial neural network. Includes a perspective normalization learning unit.

상기 정규화부는, 학습이 완료된 상기 제1 인공신경망과 상기 제2 인공신경망을 통합한 통합 인공신경망의 입력층에 다양한 원근 왜곡이 있는 다양한 포즈의 학습용 얼굴 영상을 입력하고, 정면포즈의 원근 왜곡이 없는 학습용 얼굴영상이 상기통합 인공신경망의 출력층에서 출력되도록 상기 통합 인공신경망을 학습시킨다. The normalization unit inputs learning face images of various poses with various perspective distortions to the input layer of an integrated artificial neural network that integrates the first artificial neural network and the second artificial neural network for which learning has been completed, and produces facial images for learning in various poses with no perspective distortion in the frontal pose. The integrated artificial neural network is trained so that facial images for learning are output from the output layer of the integrated artificial neural network.

특징 벡터 추출부(116)는 기계 학습(Machine Learning)을 통해 결정되며, 정규화 영상으로부터 피사체의 얼굴을 표현하는 특징 벡터(Feature Vector)를 추출한다.The feature vector extraction unit 116 is determined through machine learning and extracts a feature vector representing the subject's face from the normalized image.

특징 벡터는 얼굴인식에 사용되는 특징값들을 갖는 벡터이다. 특징 벡터를 추출하는데 사용되는 필터로써 Gabor 필터, Haar 필터, LBP(Local Binary Pattern) - DLBP(Discriminative LBP), ULBP(Uniform LBP), NLBP(Number LBP) 등을 포함 - 등이 있으나, 반드시 이에 한정되지 않으며 그 밖의 다른 필터가 사용될 수 있다.A feature vector is a vector containing feature values used in face recognition. Filters used to extract feature vectors include Gabor filter, Haar filter, LBP (Local Binary Pattern) - including DLBP (Discriminative LBP), ULBP (Uniform LBP), NLBP (Number LBP) - etc., but are necessarily limited to these. does not work and other filters can be used.

얼굴 인식부(118)는 기 학습된 분류모델에 특징 벡터 추출부(116)에서 추출된 특징 벡터를 적용하여 입력 영상에 포함된 피사체의 얼굴을 인식한다. 기 학습된 분류모델은 서포트 벡터 머신(Support Vector Machine, SVM), 선형판별분석(Linear Discriminant Analysis, LDA), 및 Softmax 등을 포함할 수 있으나, 반드시 이에 한정되는 것은 아니다.The face recognition unit 118 recognizes the face of the subject included in the input image by applying the feature vector extracted by the feature vector extraction unit 116 to the previously learned classification model. Pre-trained classification models may include, but are not necessarily limited to, Support Vector Machine (SVM), Linear Discriminant Analysis (LDA), and Softmax.

가상 얼굴영상 생성부(124)는 정규화부(114), 특징 벡터 추출부(116), 및 얼굴 인식부(118)가 학습하는데 사용되는 복수의 가상 얼굴영상을 생성할 수 있다.The virtual face image generator 124 may generate a plurality of virtual face images that the normalization unit 114, the feature vector extraction unit 116, and the face recognition unit 118 use for learning.

복수의 가상 얼굴영상은 가상 얼굴영상 생성부(124)가 카메라로부터 획득된 하나 이상의 2차원 기준 영상을 이용하여 합성한 3차원 얼굴 모델을 변형시킴으로써생성되는 얼굴 영상을 의미한다.The plurality of virtual face images refers to face images generated by the virtual face image generator 124 transforming a 3D face model synthesized using one or more 2D reference images obtained from a camera.

* 얼굴 인식 시스템의 특징* Features of the facial recognition system

조명이나 카메라와의 거리에 따라 얼굴 인식률이 변한다Face recognition rate varies depending on lighting or distance from the camera.

얼굴의 각도, 표정, 나이에 따라 안면의 모양은 계속 변하며, 눈썹, 안경 및 화장 등과 같은 외관의 변형에 따른 달리 인식될 수 있다. The shape of the face continues to change depending on the angle, expression, and age of the face, and may be perceived differently depending on changes in appearance such as eyebrows, glasses, and makeup.

* 얼굴 인식 시스템의 구성 단계* Configuration steps of face recognition system

- 영상 획득 : CCD 또는 CMOS Image Sensor 카메라로부터 영상 획득- Image acquisition: Image acquisition from CCD or CMOS Image Sensor camera

- 전처리 : 잡음제거 영상처리 및 분할- Preprocessing: Noise removal image processing and segmentation

- 얼굴 검출 : 입력 영상으로부터 ROI 영역의 얼굴 영역 검출- Face detection: Detect face area in ROI area from input image

- 얼굴 표준화 : 표준 크기, 특징 추출, 밝기 및 기하학적 표준화- Face normalization: standard size, feature extraction, brightness and geometric normalization

- 얼굴 인식 : 검출된 영상과 데이터베이스 영상의 비교 및 인식- Face recognition: Comparison and recognition of detected images and database images

* 기하학적 방법* Geometrical methods

- 특징 : 얼굴의 기하학적 특징점들을 추출하여 일치 여부를 판단하여 인식- Features: Recognition by extracting geometric feature points of the face and determining whether they match

- 성능 : 얼굴은 3차원이고 회전이 가능하기 때문에 적용에 한계가 있다.- Performance: There are limits to application because the face is three-dimensional and can be rotated.

* Eigenfaces: 1991년 Pentland에 의해 개발되었음.* Eigenfaces: Developed by Pentland in 1991.

- 특징 : 특징점 추출로 PCA(Principal Component Analysis)를 적용하고, 유사도(simularity)를 측정하기 위해 유클리디안 거리(Euclidean Distance) 적용.- Features: PCA (Principal Component Analysis) is applied to extract feature points, and Euclidean Distance is applied to measure similarity.

- 성능 : 조명이나 환경변화에 민감하게 반응하지만 널리 사용되고 있으며 그 성능이 검증된 대표적인 얼굴 인식 방법.- Performance: A representative face recognition method that responds sensitively to lighting or environmental changes, but is widely used and has proven performance.

* Fisherfaces * Fisherfaces

- 특징 : FLD(Fisher Linear Discriminant)를 분류 알고리즘으로 적용한 얼굴 인식 방법.- Features: A face recognition method that applies FLD (Fisher Linear Discriminant) as a classification algorithm.

- 성능 : 사람 개개인의 특성을 학습함으로써 보다 정확하고 환경 변화에 둔감한 특성을 지니고 있으며 on-line 상태에서 실시간으로 적용 가능한 알고리즘.- Performance: An algorithm that is more accurate and insensitive to environmental changes by learning the characteristics of each person and can be applied in real time on-line.

* SVM(Support Vector Machine)에 기초한 방법 * Method based on SVM (Support Vector Machine)

- 특징 : PCA와 SVM(Support Vector Machine)를 사용한 알고리즘. - Features: Algorithm using PCA and SVM (Support Vector Machine).

- 성능 : 비교적 높은 인식률을 높지만 얼굴 인식과 같은 멀티 클래스에 적용하기에는 시간과 메모리가 많이 소모되는 알고리즘. 현재 연구되는 대표적인 얼굴인식 알고리즘. - Performance: An algorithm that achieves a relatively high recognition rate, but consumes a lot of time and memory to apply to multi-class applications such as face recognition. A representative face recognition algorithm currently being studied.

* 신경회로망 * Neural network

- 특징 : 흑백의 정지영상에서 슬라이딩 윈도우를 사용해 학습된 얼굴 모양을 검색 - Features: Search for learned facial shapes using a sliding window in black and white still images.

- 성능 : 두 개 이상의 다수 얼굴의 추출도 가능하나 속도가 느리며 학습이 어려움. - Performance: Extraction of two or more faces is possible, but the speed is slow and learning is difficult.

* 퍼지 + 신경망 * Fuzzy + Neural Network

- 특징 : 신경회로망회로의 입력으로 픽셀의 밝기 값 대신 퍼지 소속함수를 사용 - Feature: Uses fuzzy membership function instead of pixel brightness value as input to neural network circuit.

- 성능 : 신경회로망만을 이용한 방법보다 성능은 향상되나 처리 속도는 떨어짐. - Performance: Performance is improved compared to the method using only neural networks, but processing speed is lower.

* Wavelet + Elastic Matching * Wavelet + Elastic Matching

- 특징 : 주파수 변환을 사용하며, 자세 및 표정의 변화를 처리에 효과적. - Features: Uses frequency conversion and is effective in processing changes in posture and facial expression.

- 성능 : 인식률에 비해 연산량이 많음. - Performance: The amount of calculation is large compared to the recognition rate.

이와 관련된 선행기술로써, 특허등록번호 10-1765770에서는 영상 처리를 이용한 온라인 시험의 부정행위 검출 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체"가 등록되어 있다.As prior art related to this, Patent Registration No. 10-1765770 registers “a system and method for detecting cheating in online exams using image processing, and a recording medium storing a program for implementing the same.”

온라인 시험의 부정행위 검출 시스템 및 그 방법은 영상 처리를 이용하여 온라인 시험시 수험자의 부정행위가 의심되는 행위를 검출함으로써, 온라인 시험의 부정행위를 감독할 수 있으며, 온라인 시험의 신뢰성 및 진정성을 확보할 수 있는 영상 처리를 이용한 온라인 시험의 부정행위 검출 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체를 제공한다.The online test cheating detection system and method uses image processing to detect suspected cheating by test takers during online tests, thereby supervising online test cheating and ensuring the reliability and authenticity of online tests. Provides a system and method for detecting cheating in online exams using image processing, and a recording medium storing a program to implement the same.

도 2는 종래의 온라인 시험의 부정행위 검출 시스템을 포함하는 온라인 평가 시스템의 구성도이다.Figure 2 is a configuration diagram of an online evaluation system including a conventional online test cheating detection system.

온라인 평가 시스템은, 수험자가 온라인 시험을 응시하기 위한 수험자 단말기(110); 상기 수험자 단말기에 부착되거나 스마트기기에 구비되어 해당 수험자의 정면을 촬영하기 위한 카메라(120); 상기 카메라로부터 수험자를 촬영한 영상정보를 프레임 단위로 전달받고, 영상 처리를 통해 부정행위를 검출하는 부정행위 검출 서버(100); 상기 부정행위 검출 서버에서 시험응시자의 부정행위가 의심되는 경우로 판정하는 경우, 감독관에게 이를 알려주기 위한 감독관 단말기(130); 및 상기 수험자가 응시하는 온라인 시험의 문제를 출제하기 위한 온라인 평가 서버(140)를 포함한다.The online evaluation system includes an examinee terminal 110 for the examinee to take the online test; A camera 120 attached to the test taker's terminal or provided in a smart device to photograph the front of the test taker; a cheating detection server 100 that receives video information of the test taker from the camera in units of frames and detects cheating through image processing; When the cheating detection server determines that the test taker is suspected of cheating, a proctor terminal 130 for notifying the proctor of this; and an online evaluation server 140 for presenting questions for the online exam to be taken by the test taker.

부정행위 검출 서버(100)는, 상기 수험자의 영상정보를 통신망을 통해 수신하고, 부정행위가 의심되는 경우로 판정하는 경우, 감독관에게 부정행위 검출 메시지를 송신하고, 이를 온라인 평가 서버(140)에 알려주어 온라인 시험을 중지하도록 하기 위한 송수신부(101); 상기 송수신부(101)를 통해 수신한 수험자의 영상 정보 및 좌표 정보들을 저장하기 위한 저장부(102); 상기 수신한 수험자의 영상정보로부터 얼굴 영역을 포함하는 사각형 영역을 정의하기 위한 얼굴 인식부(103); 상기 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈의 동공 좌표를 설정하는 동공 좌표 획득부(104); 상기 양쪽 눈의 동공 좌표의 중간 좌표를 결정하는 중간 좌표 획득부(105), 상기 수험자의 몸과 얼굴 영역을 제외한 모든 영역에 대하여 백그라운드로 설정하는 배경 인식부(106), 및 상기 얼굴 인식부(103)에서 획득되는 얼굴 영역이 2개 이상인지 아닌지 여부, 상기 동공 좌표 획득부(104)로부터 전달받은 기준 동공 좌표값과 실시간 동공 좌표 평균값을 비교하여 상기 기준 동공 좌표값을 기준으로 상기 실시간 동공 좌표 형균값이 기 설정된 오차 범위를 벗어나는지 여부, 상기 중간 좌표 획득부(105)로부터 전달받은 중간 좌표의 이동 거리가 기 설정된 오차 범위를 벗어나는지 여부, 및 상기 배경 인식부(106)로부터 전달받은 백그라운드 영역의 변화가 감지되는지 여부를 판단하기 위한 부정행위 판단부(107)를 포함한다.The cheating detection server 100 receives the examinee's video information through a communication network, and when it determines that cheating is suspected, it sends a cheating detection message to the supervisor and sends it to the online evaluation server 140. A transmitting and receiving unit 101 for informing to stop the online test; a storage unit 102 for storing the examinee's image information and coordinate information received through the transceiver 101; a face recognition unit 103 for defining a rectangular area including a face area from the received image information of the examinee; a pupil coordinate acquisition unit 104 that sets pupil coordinates of both eyes by image processing the shape and brightness of both eyes in a coordinate system based on the rectangular area; An intermediate coordinate acquisition unit 105 that determines the intermediate coordinates of the pupil coordinates of both eyes, a background recognition unit 106 that sets all areas except the examinee's body and face areas as the background, and the face recognition unit ( Whether or not there are two or more face areas acquired in 103), the reference pupil coordinate value received from the pupil coordinate acquisition unit 104 is compared with the average real-time pupil coordinate value, and the real-time pupil coordinate value is determined based on the reference pupil coordinate value. Whether the shape balance value is outside the preset error range, whether the moving distance of the intermediate coordinates received from the intermediate coordinate acquisition unit 105 is outside the preset error range, and the background received from the background recognition unit 106 It includes a fraud determination unit 107 to determine whether a change in the area is detected.

실시예에서는, 얼굴 영역을 포함하는 사각형 영역은 논문 "Robust Real-Time Face Detection Using Face Certainty Map" (Volume 4642 of the series Lecture Notes in Computer Science pp 29-38)에 개시된 내용에 근거하여 정의하였다.In the embodiment, the rectangular area including the face area was defined based on the content disclosed in the paper "Robust Real-Time Face Detection Using Face Certainty Map" (Volume 4642 of the series Lecture Notes in Computer Science pp 29-38).

상기 부정행위 검출 서버(100)는,The fraud detection server 100,

수험자가 촬영된 프레임 단위의 영상정보에서 수험자의 얼굴 영역을 포함하는 사각형 영역을 정의하고, 상기 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈의 양 끝점(310, 320)을 인식하고 그 사이에 위치한 검은색 영역(330, 340)의 중심점(350, 360)을 양쪽 눈의 동공 좌표로설정하고, 시험 시작 전 일정시간 동안 상기 수험자의 동공 좌표의 평균값을 계산하여 기준 동공 좌표값을 획득하고, 시험이 시작되면 일정시간 단위로 상기 수험자 양쪽 눈의 동공 좌표 평균값을 계산하여 실시간 동공 좌표 평균값을 획득하고 상기 기준 동공 좌표값을 기준으로 상기 실시간 동공 좌표 평균값이 기 설정된 오차범위를 벗어날 경우, 상기 감독관 단말기로 이를 알려주고,A rectangular area containing the examinee's face area is defined from the frame-by-frame image information in which the examinee is photographed, and the shape and contrast of both eyes are image processed in a coordinate system based on the rectangular area, and both end points of both eyes (310 , 320) and set the center point (350, 360) of the black area (330, 340) located between them as the pupil coordinates of both eyes, and calculate the average value of the examinee's pupil coordinates for a certain period of time before the start of the test. The reference pupil coordinate value is obtained, and when the test starts, the average value of the pupil coordinates of both eyes of the examinee is calculated in a certain time unit to obtain the real-time pupil coordinate average value, and the real-time pupil coordinate average value is based on the reference pupil coordinate value. If it is outside the set error range, this is notified to the supervisor terminal,

상기 양쪽 눈의 동공 좌표의 중심점(370)을 중간 좌표로 결정하며,The center point 370 of the pupil coordinates of both eyes is determined as the intermediate coordinate,

상기 중간 좌표의 이동 방향 및 이동 거리를 프레임 단위로 추적하여, 상기 중간 좌표의 이동 거리가 기 설정된 오차범위를 벗어날 경우, 상기 수험자의 머리 회전 방향 또는 이동 방향을 알려주고, 상기 수험자의 프레임 단위 영상정보에서 획득되는 얼굴 영역이 2개 이상이면, 이를 상기 감독관 단말기로 알려주고,The movement direction and movement distance of the intermediate coordinates are tracked on a frame-by-frame basis, and if the movement distance of the intermediate coordinates is outside a preset error range, the examinee's head rotation direction or movement direction is informed, and the examinee's frame-by-frame image information is provided. If there are two or more face areas obtained from , this is notified to the supervisor terminal,

상기 수험자의 몸과 얼굴 영역을 제외한 모든 영역에 대하여 백그라운드로 설정하고, 시험시간 동안 상기 백그라운드의 변화를 감지하면, 이를 상기 감독관 단말기로 알려주며,All areas except the examinee's body and face are set as the background, and when a change in the background is detected during the test, this is notified to the proctor terminal,

상기 부정행위 검출 서버(100)는,The fraud detection server 100,

상기 수험자의 영상정보를 통신망을 통해 수신하고, 부정행위가 의심되는 경우로 판정하는 경우, 상기 감독관 단말기(130)로 부정행위 검출 메시지를 송신하고, 이를 상기 수험자가 응시하는 온라인 시험의 문제를 출제하는 온라인 평가 서버(140)에 알려주어 온라인 시험을 중지하도록 한다. When the examinee's video information is received through a communication network and it is determined that cheating is suspected, a cheating detection message is sent to the proctor terminal 130, and the test taker's image information is sent to the test taker's online test questions. Notifies the online evaluation server 140 to stop the online test.

상기 온라인 평가 서버(140)는, 상기 수험자가 응시하는 온라인 시험의 문제를 출제하는 도중에, 상기 부정행위 검출 서버(100)로부터 부정행위 의심 동작이 감지되었음을 알리는 메세지를 받으면, 상기 수험자의 온라인 시험의 문제 출제를 중지하고, 상기 감독관 단말기(130) 또는 상기 부정행위 검출 서버(100)로부터 문제를 재시작해도 된다는 메시지를 받은 후에, 온라인 시험 문제를 출제를 재시작하는 것을 특징으로 한다. When the online evaluation server 140 receives a message notifying that a suspected cheating behavior has been detected from the cheating detection server 100 while posing questions for an online test to be taken by the examinee, the online evaluation server 140 determines the online test of the examinee. After stopping the question asking and receiving a message indicating that the question may be restarted from the proctor terminal 130 or the cheating detection server 100, the online test question is restarted.

최근, 얼굴 인식 기술은 기존에 주류를 이루던 Hand-crafted Feature인 HOG, LBP, Gabor 특징 추출 알고리즘을 사용하는 머리/눈/코/입 특징이 딥러닝(Deep Learning) 기반의 특징으로 얼굴 검출, CNN(Convolutional Neural Network) 알고리즘을 사용한 얼굴 랜드마크 검출 및 얼굴 특징 추출 및 분류 기술을 사용하여 인간 인식 수준이 97.53%와 유사한 결과를 제공한다.Recently, face recognition technology uses head/eye/nose/mouth features using HOG, LBP, and Gabor feature extraction algorithms, which are previously mainstream hand-crafted features, and uses deep learning-based features for face detection and CNN. Using facial landmark detection and facial feature extraction and classification technology using the (Convolutional Neural Network) algorithm, it provides results similar to the human recognition level of 97.53%.

2014년에 페이스북의 DeepFace 등의 인공지능 얼굴 인식 기술이 출시되었다. CVPR에서 발표된 DeepID1["Deep Learning Face Representation from Predicting 10,000 Classes,” CVPR 2014 ]의 경우는 DeepFace의 입력 해상도 152x152 픽셀보다 작은 39x31 픽셀을 사용한다.In 2014, artificial intelligence facial recognition technologies such as Facebook's DeepFace were released. DeepID1 ["Deep Learning Face Representation from Predicting 10,000 Classes," CVPR 2014] announced at CVPR uses 39x31 pixels, which is smaller than DeepFace's input resolution of 152x152 pixels.

또한, AlexNet 기반의 얼굴 검출기, ImageNet 학습 데이터들로 사전에 학습된 AlexNet을 얼굴 영상으로 fine-tuning하여 아직까지 검출 성능이 높지 않으며, 최종 단에 SVM 분류기(SVM classifier)를 사용하여 얼굴을 검출하고 있다. In addition, the detection performance is not yet high by fine-tuning AlexNet, which was pre-trained with face images using the AlexNet-based face detector and ImageNet training data, and at the final stage, the face is detected using an SVM classifier. there is.

특허 공개번호 10-2017-0050465 (공개일자 2017년 05월 11일), "얼굴 인식 장치 및 방법", 에스케이텔레콤 주식회사Patent Publication No. 10-2017-0050465 (publication date May 11, 2017), “Face recognition device and method,” SK Telecom Co., Ltd. 특허 등록번호 10-1765770 (등록일자 2017년 08월 01일), "영상 처리를 이용한 온라인 시험의 부정행위 검출 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체", 손부경Patent registration number 10-1765770 (registration date August 1, 2017), “A system and method for detecting cheating in online exams using image processing and a recording medium storing a program for implementing the same”, Bu-kyung Son

상기 문제점을 해결하기 위한 본 발명의 목적은 인공지능 안면인식 모듈과 5점 척도 부정행위 방지 모듈이 탑재되는 태블릿 PC, 스마트폰 기반의 UBT 시험에서, 대리 시험이나 부정행위를 방지하도록 AI 기반 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 응시자 단말에서 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하여 추적하여 얼굴의 행동 패턴을 검출하는 인공지능 안면인식 모듈과 얼굴의 특징점 5점 척도 부정행위 방지 모듈이 탑재되며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 태블릿 PC의 카메라 영상이 촬영되는 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 수치를 넘는 경우) 경고 메시지 또는 알람을 출력하거나, 또는 해당 응시자 단말의 정보 기기에 저장후 시험 종료시 시험 서버로 전송하고, 응시자들에게 채점 결과를 제공하는, 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 태블릿 PC, 스마트폰 기반 UBT 시스템을 제공한다. The purpose of the present invention to solve the above problems is to provide an AI-based facial contour to prevent proxy testing or cheating in tablet PC and smartphone-based UBT tests equipped with an artificial intelligence facial recognition module and a 5-point scale cheating prevention module. Using recognition technology (posenet algorithm), the test taker's terminal recognizes the outline of the test taker's face and the eye 2/nose/ear 2 feature points, and moves to the right/left depending on whether the eye/nose 3 points are close to the ear 2 points at either end. It is equipped with an artificial intelligence facial recognition module that detects and tracks the movement of the head and detects facial behavior patterns, and an anti-fraud module with a 5-point facial feature point scale. If the facial outline is not recognized during face recognition, the camera image of the tablet PC is used. If you deviate from the test screen being captured (if the distance between the eyes and ears or the distance in that direction exceeds a certain value depending on whether the 3 points of the eye/nose are close to the 2 points of the ears at either end), a warning message or alarm will be issued. A tablet PC and smartphone-based UBT system using facial contour recognition artificial intelligence to prevent cheating that prints out or saves it in the information device of the test taker's terminal and transmits it to the test server at the end of the test, and provides scoring results to test takers. provides.

본 발명의 다른 목적은 안면윤곽선 인식 인공지능을 사용한 태블릿 PC, 스마트폰 기반 UBT 제공 방법을 제공한다.Another object of the present invention is to provide a method of providing UBT based on tablet PC and smartphone using facial contour recognition artificial intelligence.

본 발명의 목적을 달성하기 위해, 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 시스템은 시험 응시자 정보와 정면 얼굴 사진을 등록받고, 응시자의 응시표에 부착되는 QR 코드를 발급하며, UBT 시험을 실시하기 위한 시험 프로그램을 제공하는 UBT 시험 서버; 상기 UBT 시험 서버에 유무선 통신망을 통해 연결되며, 인공지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2의 얼굴 특징점 5점 척도 부정행위 방지 모듈을 구비하며, UBT 시험 시에, 응시자 단말의 전면 카메라로 실시간으로 촬영된 얼굴 영상의 ROI를 검출하여 크기 보정/회전/각도 보정된 표준 크기의 정면 얼굴 사진에 대하여 특징 추출과 분류를 통해 얼굴의 특징점들의 유클리디안 거리(d)와 유사도(similarity)를 계산하고, 이를 상기 UBT 시험 서버의 얼굴사진 DB의 데이터와 비교하여 대리 시험 여부를 확인하며, UBT 시험시에 전면 얼굴이 좌우로 돌아간 각도에 따라 부정행위를 판단하여 상기 UBT 시험 서버로 전송하고, 부정행위 검출 시에 경고 메시지 또는 알람을 발생하는 응시자 단말; 및 UBT 시험 시에, 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 벗어난 경우 - 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우-, 응시자 단말의 얼굴 사진과 부정행위 정보를 상기 UBT 시험 서버를 통해 수신받고, 상기 UBT 시험 서버를 통해 해당 응시자 단말로 부정행위 방지 알람 또는 경고 메시지를 전송하는 감독관 단말을 포함하며, In order to achieve the purpose of the present invention, the UBT system using facial contour recognition artificial intelligence to prevent cheating registers test taker information and frontal face photos, issues a QR code attached to the test taker's application form, and conducts the UBT test. UBT test server that provides test programs for implementation; It is connected to the UBT test server through a wired or wireless communication network, and is equipped with an artificial intelligence facial recognition module and a cheat prevention module with a 5-point scale for facial outlines and facial feature points of eyes 2, nose, and ears 2. During the UBT test, the candidate's terminal By detecting the ROI of the face image captured in real time with the front camera, the Euclidean distance (d) and similarity of the feature points of the face are extracted and classified for standard size frontal face photos that have been size-corrected/rotated/angle-corrected. (similarity) is calculated and compared with the data in the face photo DB of the UBT test server to check whether a surrogate test is performed. Cheating is judged according to the angle at which the front face is turned left and right during the UBT test and the UBT test server Candidate terminal that transmits to and generates a warning message or alarm when cheating is detected; And during the UBT test, if the facial outline is not recognized or the test screen is off - the distance in the corresponding direction of the eye-to-ear distance and the nose-to-ear distance are constant depending on whether the 3 points of the eye/nose are close to the 2 points of the ears at either end. If the standard is exceeded - includes a proctor terminal that receives the face photo and cheating information of the candidate's terminal through the UBT test server and transmits an anti-cheating alarm or warning message to the test taker's terminal through the UBT test server; ,

상기 안면인식 모듈에 사용된 상기 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,The facial contour recognition technology used in the facial recognition module uses the posenet algorithm,

상기 UBT 시험 서버는 응시자의 응시표에 부착된 QR 코드 인식 후, TTS 변환 기술을 통해 인사말을 제공하는 인사말 제공부(TTS)를 더 포함하며, The UBT test server further includes a greeting service (TTS) that provides a greeting through TTS conversion technology after recognizing the QR code attached to the test taker's test ticket,

상기 UBT 시험 서버에 연동된 응시자 단말에 설치된 시험 프로그램(App)의 시험지 문항은 각 문항마다 텍스트 및 이미지 뿐만아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 디스플레이 된다. The test paper questions of the test program (App) installed on the test taker's terminal linked to the UBT test server display not only text and images for each question, but also multimedia test questions containing text, images, VR/AR content, voice, and video. do.

본 발명의 다른 목적을 달성하기 위해, 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 제공 방법은, UBT 시험 서버가 사용자 단말로부터 회원 정보를 등록받고, 로그인/사용자 인증 후에, 응시자 정보와 정면 얼굴 사진을 등록받아 저장하는 단계; 상기 UBT 시험 서버가 응시자 정보와 정면 얼굴 사진에 대응하는 응시자의 응시표에 부착되는 QR 코드를 발급하는 단계; 상기 UBT 시험 서버가 주관 시험에 따라 시험 일정과 장소를 공지하는 단계; 상기 응시자의 응시표에 부착되는 QR 코드를 스마트폰으로 찍어 응시자 단말의 카메라에 인식 화면에 대면 동작되며, 상기 QR 코드 인식 후, TTS(Text To Speech) 기능을 통해 인사말을 제공하는 단계; AI 기반 안면윤곽선 인식 기술을 사용하는 안면인식 모듈을 구비하는 응시자 단말에서 카메라의 전면 사진의 얼굴 인식 결과를 상기 UBT 시험 서버로 수신받아 크기 보정/회전/각도 보정된 정면 얼굴 사진을 생성하고, 이를 감독관 단말이 상기 UBT 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 응시자 본인 여부를 확인하여 대리 시험을 방지하며, 시험 응시 여부를 결정하는 단계; 상기 UBT 시험 서버에 연동된 응시자 단말에 설치된 시험 프로그램(App)의 시험지 문항은 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 디스플레이되는 단계; 상기 응시자 단말의 안면인식 모듈과 얼굴 특징점 5점 척도 부정행위 방지 모듈에 의해 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하여 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 상기 응시자 단말의 시험 화면으로부터 벗어난 경우 - 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 거리가 일정 기준치를 넘는 경우 - 부정행위와 관련된 얼굴 사진 또는 응시자의 음성 데이터를 상기 UBT 시험 서버로 전송하고 상기 감독관 단말로 출력되며, 상기 UBT 시험 서버로부터 해당 응시자 단말로 경고 메시지 또는 알람을 수신하는 단계; 및 상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 온라인 시험지를 제공하고, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 상기 UBT 시험 서버의 데이터베이스에 저장하여 관리하며, UBT 시험시에 일정 시험시간 동안 각각의 응시자 단말에 시험지 작성 답안을 저장한 후 시험 종료시 이를 각각의 응시자 단말로부터 상기 UBT 시험 서버로 전송받아 저장하며, 응시자들의 시험지 작성 답안의 채점 결과를 응시자 단말로 제공하는 단계를 포함하며, In order to achieve another purpose of the present invention, the method of providing UBT using facial contour recognition artificial intelligence to prevent cheating involves the UBT test server registering member information from the user terminal, and after login/user authentication, the candidate information and Registering and storing a face photo; The UBT test server issuing a QR code attached to the test taker's test ticket corresponding to the test taker information and frontal face photo; The UBT test server notifies the test schedule and location according to the administered test; Taking the QR code attached to the test taker's test ticket with a smartphone and touching it to the recognition screen on the camera of the test taker's terminal; After recognizing the QR code, providing a greeting through a TTS (Text To Speech) function; A candidate terminal equipped with a facial recognition module using AI-based facial contour recognition technology receives the face recognition results of the front photo from the camera to the UBT test server, generates a frontal face photo corrected for size/rotation/angle, and A proctor's terminal checks whether the applicant is the applicant by comparing the applicant information previously stored in the database of the UBT test server with a frontal face photo of a standard size, thereby preventing proxy testing, and determining whether to take the exam; The test paper questions of the test program (App) installed on the candidate's terminal linked to the UBT test server are displayed as multimedia test questions containing not only text and images, but also text, images, VR/AR content, voice, and video for each question. stage of becoming; The facial recognition module and the facial feature point 5-point scale fraud prevention module of the candidate's terminal recognize the outline of the candidate's face and the eye 2/nose/ear 2 feature points, and determine whether the 3 eye/nose points are close to the 2 ear points at both ends. Accordingly, abnormal facial behavior patterns are detected by detecting head movement to the right/left, and if the facial outline is not recognized when recognizing the face, or if the test screen of the applicant's terminal is deviated - 3 points for eyes/nose and 2 points for ears at both ends If the distance in the corresponding direction of the eye-to-ear distance or nose-to-ear distance exceeds a certain standard depending on whether the distance is closer to the target - a photo of the face or the candidate's voice data related to cheating is transmitted to the UBT test server and the proctor terminal output, and receiving a warning message or alarm from the UBT test server to the candidate's terminal; And providing a test program (App) and online test papers to the candidate terminal and the proctor terminal, and storing and managing the candidate information, the candidate's on-site face photo, and the proctor information in the database of the UBT test server, and managing the UBT test at the time of the UBT test. A step of storing the answers written on the test paper on each test taker's terminal for a certain test time, then transmitting and storing them to the UBT test server from each test taker terminal at the end of the test, and providing the scoring results of the answers written on the test taker's test paper to the test taker's terminal. Includes,

상기 안면인식 모듈에 사용된 상기 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,The facial contour recognition technology used in the facial recognition module uses the posenet algorithm,

상기 UBT 시험 서버는 상기 응시자의 응시표에 부착된 QR 코드 인식 후, TTS 변환 기술을 통해 인사말을 제공하는 인사말 제공부(TTS)를 더 포함하며, The UBT test server further includes a greeting service unit (TTS) that provides a greeting through TTS conversion technology after recognizing the QR code attached to the test taker's test ticket,

상기 UBT 시험 서버에 연동된 응시자 단말에 설치된 시험 프로그램(App)의 시험지 문항은 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 디스플레이 된다.The test paper questions of the test program (App) installed on the candidate's terminal linked to the UBT test server are displayed as multimedia test questions containing not only text and images, but also text, images, VR/AR content, voice, and video for each question. do.

본 발명의 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 시스템 및 방법은 인공지능 안면인식 모듈과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정행위 방지 모듈이 탑재되는 태블릿 PC, 스마트폰 기반의 UBT 시험에서, 대리 시험이나 부정행위를 방지하도록 AI 기반 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 응시자 단말에서 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하여 추적하여 얼굴의 행동 패턴을 검출하는 인공지능 안면인식 모듈과 눈2/코/귀2 얼굴의 특징점 5점 척도 부정행위 방지 모듈이 탑재되며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 태블릿 PC의 카메라 영상이 촬영되는 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 수치를 넘는 경우) 해당 응시자 단말로 경고 메시지 또는 알람을 출력하거나, 또는 해당 응시자 단말의 정보 기기에 저장후 시험 종료시 시험 서버로 전송하고, 응시자들에게 채점 결과를 제공하며, UBT 시험에서 대리 시험이나 부정 행위를 방지하는 효과가 있다. The UBT system and method using facial contour recognition artificial intelligence to prevent cheating of the present invention is a tablet PC and smart phone equipped with an artificial intelligence facial recognition module and an eye2/nose/ear2 facial feature point 5-point scale cheating prevention module. In the phone-based UBT test, AI-based facial outline recognition technology (posenet algorithm) is used to recognize the test taker's face outline and eye2/nose/ear2 feature points on the test taker's terminal to prevent proxy testing or cheating. An artificial intelligence facial recognition module that detects facial behavior patterns by detecting and tracking head movement to the right/left depending on whether the 3 points of the eyes/nose get closer to the 2 points of the ears at either end, and 5 facial feature points of the eyes2/nose/ear2 A point-scale fraud prevention module is installed, and if the facial outline is not recognized during face recognition or if the tablet PC's camera image deviates from the test screen where it is captured (depending on whether the 3 points of the eyes/nose are close to the 2 points of the ears at either end) (If the distance in the relevant direction (eye-to-ear distance or nose-to-ear distance) exceeds a certain value) A warning message or alarm is output to the test taker's terminal, or stored in the information device of the test taker's device and transmitted to the test server at the end of the test. , it provides scoring results to test takers and has the effect of preventing proxy testing or cheating in the UBT test.

응시자 단말에서 인공지능 안면인식 모듈과 5점 척도 활용 부정행위 방지 모듈을 결합한 대리시험 방지 및 시험중 부정행위 방지 기법을 구현하였다. A proxy test prevention and test-cheating prevention technique that combines an artificial intelligence facial recognition module and a cheating prevention module using a 5-point scale was implemented on the test taker's terminal.

응시자 단말의 안면인식 모듈과 5점 척도 활용 부정행위 방지 모듈에서 사용하는 AI 기반 안면윤곽선 인식 기술은 태블릿 PC의 카메라 영상의 안면윤곽선 인식을 위해 posenet 알고리즘을 사용하였다. UBT 시험 시에, AI 기반의 얼굴인식 기술을 사용하여 UBT 시험 서버에 연동된 감독관 단말을 통해 태블릿 PC 응시자 본인을 확인하고, 대리 시험을 방지하며, UBT 시험에서 응시자 얼굴 인식에 의해 대리 시험이나 부정 행위를 방지하게 되었다. The AI-based facial contour recognition technology used in the facial recognition module of the test taker's terminal and the anti-cheating module using a 5-point scale used the posenet algorithm to recognize the facial contour of the tablet PC's camera image. During the UBT test, AI-based facial recognition technology is used to verify the identity of the tablet PC candidate through a proctor terminal linked to the UBT test server, prevent proxy testing, and prevent proxy testing or fraud by recognizing the candidate's face in the UBT test. The action was prevented.

도 1은 기존 얼굴 인식 장치의 구성도이다.
도 2는 종래의 온라인 시험의 부정행위 검출 시스템을 포함하는 온라인 평가 시스템의 구성도이다.
도 3a는 어학, 보건의료교육 UBT 시험시에 태블릿 PC 또는 스마트폰 기반 UBT 시험 서버를 구비하는 안면윤곽선 인식 인공지능 플랫폼 개념을 보인 도면이다.
도 3b는 유비쿼터스 기반 학습(Ubiquitous based Learning, UBL) 및 유비쿼터스 기반 시험(Ubiquitous based Test, UBT) NSDAI 플랫폼 상의 얼굴 인식 기능을 보인 도면이다.
도 3c, 3d는 UBT 시험시에 태블릿 PC 또는 스마트폰에서 사용하는 UBI cloud App, NS facere platform의 목표와 User Experience(1. 사용자 등록->2. 학습-> 3. 응시표에 부착되는 QR 코드 생성 -> 4. UBT App/Web 로그인(QR code/passwd, ID/passwd) -> 5. 감독자 확인과 시험-> 6.7 UBT App/Web 카메라의 얼굴의 안면윤곽선 인식 8. 시험 종료)를 보인 그림이다.
도 4는 응시자 등록부터 시험 응시부의 과정, 1) 응시자 등록, 2) 학습, 3) QR 코드 발급, 4) QR 코드 및 얼굴 인식, 5) 감독관 확인(응사자 얼굴/응시자 정보), 6) 시험응시 - 프로세스를 보인 그림이다.
도 5는 등록된 응시자 얼굴 기계학습 및 학습 결과를 바탕으로 응시자-얼굴 매칭 코드 발급부 - UBT 시험시에 응시자 등록/학습/QR 코드 발급 화면이다.
도 6은 시험 응시자 얼굴의 AI 기반 안면윤곽선 인식을 통해 유사도(similarity)를 측정한 UBT 시스템에서 응시자 확인부 화면이다.
도 7은 응시자 판정시 규칙 사용자 정의부, 프로그램 테스트 화면이다.
도 8은 UBT 시험 시에 시험 서버 접속/로그인/왼쪽- QR 코드 인식/QR 코드 인식 시에 인사말 들림(TTS)/오른쪽-얼굴 인식(스마트폰/태블릿PC 전면 카메라)/배경에서 얼굴 영역 인식 시작/인식율 표시 과정을 포함하는 시연 화면 - 생성된 사용자 코드 활용 UBT 인증 프로세스 사용자 정의부 -이다.
도 9는 본 발명에 따른 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 태블릿 PC 또는 스마트폰 기반 UBT 시스템 구성도이다.
도 10은 UBT 시험시에, AI 기반 안면 인식 모듈과 부정행위 방지 모듈의 기능을 설명한 도면이다.
도 11은 본 발명에 따른 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 태블릿 PC 또는 스마트폰 기반 UBT 제공 방법을 나타낸 순서도이다.
1 is a configuration diagram of an existing face recognition device.
Figure 2 is a configuration diagram of an online evaluation system including a conventional online test cheating detection system.
Figure 3a is a diagram showing the concept of a facial contour recognition artificial intelligence platform equipped with a tablet PC or smartphone-based UBT test server during language and health care education UBT tests.
Figure 3b is a diagram showing the face recognition function on the Ubiquitous based Learning (UBL) and Ubiquitous based Test (UBT) NSDAI platform.
Figures 3c and 3d show the goals of the UBI cloud app and NS facere platform used on a tablet PC or smartphone during the UBT test and the User Experience (1. User registration -> 2. Learning -> 3. Generating a QR code attached to the test sheet -> 4. UBT App/Web login (QR code/passwd, ID/passwd) -> 5. Supervisor confirmation and test -> 6.7 Facial outline recognition of face by UBT App/Web camera 8. End of test) .
Figure 4 shows the process of the test taker's department from candidate registration, 1) candidate registration, 2) learning, 3) QR code issuance, 4) QR code and face recognition, 5) supervisor confirmation (candidate's face/candidate information), 6) test Gaze - This is a picture showing the process.
Figure 5 is a screen of the candidate-face matching code issuance unit - candidate registration/learning/QR code issuance during the UBT test based on the machine learning and learning results of the registered candidate's face.
Figure 6 is a screen of the test taker confirmation section in the UBT system that measures similarity through AI-based facial outline recognition of the test taker's face.
Figure 7 shows the rule user definition section and program test screen when judging candidates.
Figure 8 shows test server connection / login / left - QR code recognition / greeting heard when QR code is recognized (TTS) / right - face recognition (smartphone / tablet PC front camera) / starting face area recognition in the background during UBT test /This is a demonstration screen including the recognition rate display process - UBT authentication process customization section utilizing the generated user code.
Figure 9 is a diagram showing the configuration of a tablet PC or smartphone-based UBT system using facial contour recognition artificial intelligence to prevent cheating according to the present invention.
Figure 10 is a diagram explaining the functions of the AI-based facial recognition module and anti-cheating module during the UBT test.
Figure 11 is a flowchart showing a method of providing UBT based on a tablet PC or smartphone using facial contour recognition artificial intelligence to prevent cheating according to the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 첨부된 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면 번호를 부여한다. Hereinafter, the configuration and operation of the preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description of the present invention, if it is determined that a detailed description of a related known technology or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the attached drawing numbers are assigned the same drawing numbers in other drawings when indicating the same configuration.

도 9는 본 발명에 따른 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 태블릿 PC 또는 스마트폰 기반 UBT 시스템 구성도이다. Figure 9 is a diagram showing the configuration of a tablet PC or smartphone-based UBT system using facial contour recognition artificial intelligence to prevent cheating according to the present invention.

도 10은 UBT 시험시에, AI 기반 안면 인식 모듈과 부정행위 방지 모듈의 기능을 설명한 도면이다. Figure 10 is a diagram explaining the functions of the AI-based facial recognition module and anti-cheating module during the UBT test.

본 발명의 안면윤곽선 인식 인공지능을 사용한 UBT 시스템 및 방법은 인공지능 안면인식 모듈과 얼굴 특징점 5점 척도 부정행위 방지 모듈이 탑재되는 태블릿 PC 또는 스마트폰 기반의 UBT(Ubiquitous based Test) 시험에서, 대리 시험이나 부정행위를 방지하도록 AI 기반 안면윤곽선 인식 기술(posenet 알고리즘, machine learning model which allows for real-time face pose estimation)을 사용하여 응시자 단말에서 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 얼굴의 특징점 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하여 추적하여 얼굴의 행동 패턴을 검출하는 인공지능 안면인식 모듈과 얼굴의 특징점 5점 척도 부정행위 방지 모듈이 탑재되며, FACE RECOGNITION/FACE MOTION RECOGNITION/RESULT ANLAYSIS를 통해 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 태블릿 PC의 카메라 영상이 촬영되는 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 수치값을 넘는 경우) 해당 응시자 단말로 경고 메시지 또는 알람을 출력하거나 또는 해당 응시자 단말의 정보 기기에 저장후 시험 종료시 UBT 시험 서버로 전송하며, 응시자들에게 채점 결과를 제공한다. The UBT system and method using artificial intelligence for facial contour recognition of the present invention can be used as a substitute in a UBT (Ubiquitous based Test) test based on a tablet PC or smartphone equipped with an artificial intelligence facial recognition module and a 5-point facial feature point scale fraud prevention module. To prevent testing or cheating, AI-based facial contour recognition technology (posenet algorithm, machine learning model which allows for real-time face pose estimation) is used to display the outline of the test taker's face and eyes2/nose/ears2 on the test taker's terminal. An artificial intelligence facial recognition module and facial feature points that recognize feature points and detect facial behavior patterns by detecting and tracking the movement of the head to the right/left depending on whether the three eye/nose points of the face get closer to the two ear points at either end. A 5-point scale fraud prevention module is installed, and when facial outline is not recognized through FACE RECOGNITION/FACE MOTION RECOGNITION/RESULT ANLAYSIS, and when the tablet PC's camera image deviates from the test screen where it is captured (eyes/nose) Depending on whether the 3 points are close to the 2 points on either end of the ears, if the distance in the corresponding direction of the eye-to-ear distance or the nose-to-ear distance exceeds a certain numerical value, a warning message or alarm is output to the candidate's terminal, or a warning message or alarm is displayed on the candidate's terminal. It is stored in the information device and transmitted to the UBT test server at the end of the test, and the scoring results are provided to the test takers.

응시자 단말에서 인공지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 활용 부정행위 방지 모듈을 결합한 대리시험 방지 및 시각적인/청각적인 부정행위 방지 기법을 구현하였다. A proxy test prevention and visual/auditory anti-cheating technique was implemented in the test taker's terminal that combines an artificial intelligence facial recognition module and a cheat prevention module using the facial outline and eye2/nose/ear2 facial feature points on a 5-point scale.

응시자 단말의 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 활용 부정행위 방지 모듈에서 사용하는 AI 기반 안면윤곽선 인식 기술은 실시예에서는, 태블릿 PC의 카메라 영상의 안면윤곽선 인식을 위해 posenet 알고리즘을 사용하였다. UBT 시험시에, UBT 시험 서버에 연동된 응시자 단말에 설치된 시험 프로그램(App)의 시험지 문항은 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되고, In the embodiment, the AI-based facial contour recognition technology used in the facial recognition module of the test taker's terminal and the facial contour and eye2/nose/ear2 facial feature point 5-point scale utilized in the anti-cheating module is used to identify the face in the camera image of the tablet PC. The posenet algorithm was used for contour recognition. During the UBT test, the test questions in the test program (App) installed on the test taker's terminal linked to the UBT test server are not only text and images for each question, but also multimedia test questions that include text, images, VR/AR content, voice, and video. This question is presented,

AI 기반의 얼굴인식 기술을 사용하여 시험 서버에 연동된 감독관 단말을 통해 태블릿 PC 응시자 본인을 확인하고 대리 시험을 방지하며, UBT 시험에서 응시자 얼굴 인식에 의해 대리 시험이나 부정 행위를 방지한다. Using AI-based facial recognition technology, the tablet PC test taker's identity is verified through a proctor terminal linked to the test server and proxy testing is prevented, and proxy testing or cheating is prevented by recognizing the test taker's face in the UBT test.

UBT 시험 서버의 시험 프로그램(App)의 시험지 문항은 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 응시자 단말로 디스플레이된다. The test paper questions in the test program (App) of the UBT test server include not only text and images for each question, but also multimedia test questions that include text, images, VR/AR content, voice, and video, and are displayed on the candidate's terminal.

1. 인공지능 허브 플랫폼1. Artificial Intelligence Hub Platform

ㆍNSD-AI (NSDevil's Artificial intelligence) 플랫폼 기반 인공지능 허브플랫폼ㆍArtificial intelligence hub platform based on NSD-AI (NSDevil's Artificial intelligence) platform

ㆍ의학 교육 부문 구문 인식을 통한 교수자 채점 가이드(인제대학교 의과대학 외 공동연구)ㆍInstructor grading guide through phrase recognition in medical education (joint research with Inje University School of Medicine and others)

ㆍ사물 인식을 통한 체험 학습 지원시스템(펀에듀랩 및 한국민속촌 외)ㆍExperiential learning support system through object recognition (Fun Edu Lab, Korean Folk Village, etc.)

ㆍ치아 이미지 분석을 통한 치과 교육 부문 질병분석 기능(연세대학교 치과대학 외 3개국 기관 공동연구)ㆍDisease analysis function in the dental education sector through tooth image analysis (joint research by Yonsei University College of Dentistry and 3 other countries)

ㆍUBT connect platform 기반ㆍBased on UBT connect platform

ㆍ태블릿 PC 기반 평가 플랫폼ㆍTablet PC-based evaluation platform

ㆍ어학평가 부문(말하기/듣기/읽기/쓰기)ㆍLanguage evaluation section (speaking/listening/reading/writing)

ㆍ보건의료 평가 부문(듣기/읽기/쓰기)ㆍHealth care evaluation sector (listening/reading/writing)

ㆍ기타 직무평가 부문(읽기/쓰기)ㆍOther job evaluation categories (reading/writing)

인공지능 안면윤곽선 인식을 사용한 태블릿 PC 또는 스마트폰 기반 UBT 시스템은 UBT 시험 서버(100), 감독관 단말(200), 및 스마트폰 및 태블릿 PC를 사용하며, 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2 얼굴의 특징점 5점 척도 활용 부정행위 방지 모듈을 구비하는 응시자 단말(300,310,311)을 포함한다. The tablet PC or smartphone-based UBT system using artificial intelligence facial contour recognition uses a UBT test server (100), a proctor terminal (200), and a smartphone and tablet PC, and includes a facial recognition module and facial outline and eyes2/ Nose/Ears2 Includes test taker terminals (300, 310, 311) equipped with a cheat prevention module utilizing a 5-point scale of facial features.

부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 시스템은 The UBT system using facial contour recognition artificial intelligence to prevent fraud

시험 응시자 정보와 정면 얼굴 사진을 등록받아 저장하고, 응시자의 응시표에 부착되는 QR 코드를 발급하며, 응시자별 응시표에 부착된 QR 코드 인식 후, TTS 변환 기술을 통해 인사말을 제공하며, UBT 시험을 실시하기 위한 시험 프로그램을 제공하는 UBT 시험 서버(100); Test taker information and frontal face photos are registered and stored, a QR code attached to the test taker's test ticket is issued, and after recognizing the QR code attached to each test taker's test ticket, a greeting is provided through TTS conversion technology, and the UBT test is conducted. UBT test server 100 that provides a test program for:

상기 UBT 시험 서버(100)에 유무선 통신망(LAN, Wi-Fi, LTE 4G/5G)을 통해 연결되며, 인공지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2의 얼굴 특징점 5점 척도 부정행위 방지 모듈을 구비하며, UBT 시험 시에, 응시자 단말의 전면 카메라로 실시간으로 촬영된 얼굴 영상의 ROI(Region of Interest)를 검출하여 코의 꼭지점을 기준으로 크기 보정/회전/각도 보정된 표준 크기의 정면 얼굴 사진에 대하여 얼굴 특징점들의 특징 벡터 x를 구하고, 눈2,코, 귀2의 특징 추출과 분류를 통해 얼굴의 특징점들의 유클리디안 거리(d)와 유사도(similarity)를 계산하고, UBT 시험 서버(100)의 얼굴사진 DB와 비교하여 대리 시험 여부를 확인하게 하며, UBT 시험 시에 응시자 단말의 카메라로 촬영된 전면 얼굴이 좌우로 돌아간 각도에 따라 부정행위를 판단하여 부정행위 정보를 상기 UBT 시험 서버(100)로 전송하고, 감독관 단말이 부정행위 정보가 확인되면, 상기 UBT 시험 서버(100)로부터 해당 응시자 단말로 수신된 부정행위 방지 알람을 발생하거나 경고 메시지를 출력하는 응시자 단말(300,310,311); 및 It is connected to the UBT test server 100 through a wired or wireless communication network (LAN, Wi-Fi, LTE 4G/5G), and uses an artificial intelligence facial recognition module and a 5-point scale for facial contours and facial features of eyes 2/nose/ears 2. Equipped with an anti-cheating module, during the UBT test, the ROI (Region of Interest) of the face image captured in real time with the front camera of the test taker's terminal is detected, and the standard is size-corrected/rotated/angle-corrected based on the vertex of the nose. For a frontal face photo of the same size, the feature vector It checks whether a proxy test is performed by comparing it with the face photo DB of the UBT test server (100), and cheating information is collected by judging cheating according to the angle at which the front face, taken with the camera of the candidate's terminal, is turned left and right during the UBT test. It is transmitted to the UBT test server 100, and when the proctor terminal confirms the cheating information, the candidate terminal generates an anti-cheating alarm or outputs a warning message received from the UBT test server 100 to the candidate terminal ( 300,310,311); and

상기 UBT 시험 서버(100)에 유무선 통신망을 통해 연결되며, UBT 시험 시에, 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 벗어난 경우 - 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우-, 말소리가 들리는 경우 응시자의 음성 데이터를 포함하는 응시자 단말의 얼굴 사진과 부정행위 정보를 상기 UBT 시험 서버(100)를 통해 수신받고, 부정 행위 검출 시에 상기 UBT 시험 서버(100)를 통해 해당 응시자 단말로 부정행위 방지 알람 또는 경고 메시지를 전송하는 감독관 단말(200)을 포함하며,It is connected to the UBT test server 100 through a wired or wireless communication network, and during the UBT test, if the facial outline is not recognized or is off the test screen - the eyes and nose are tested depending on whether the 3 points of the eyes/nose are close to the 2 points of the ears at both ends. If the distance in the corresponding direction of the distance between the ears and the distance between the nose and the ear exceeds a certain standard value - When speech sounds are heard, the facial photo of the test taker's terminal, including the test taker's voice data, and cheating information are sent to the UBT test server 100. It includes a proctor terminal (200) that receives and transmits an anti-cheating alarm or warning message to the candidate's terminal through the UBT test server (100) when cheating is detected,

상기 안면인식 모듈에 사용된 AI 기반 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,The AI-based facial outline recognition technology used in the facial recognition module uses the posenet algorithm,

상기 UBT 시험 서버(100)는 응시자의 응시표에 부착된 QR 코드 인식 후, TTS 변환 기술을 통해 인사말을 제공하는 인사말 제공부(TTS)를 더 포함하며, The UBT test server 100 further includes a greeting service unit (TTS) that provides a greeting through TTS conversion technology after recognizing the QR code attached to the test taker's test ticket,

상기 UBT 시험 서버(100)에 연동된 응시자 단말에 설치된 시험 프로그램(App)의 시험지 문항은 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 및/또는 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 디스플레이된다. The test paper questions of the test program (App) installed on the test taker's terminal linked to the UBT test server 100 include not only text and images for each question, but also multimedia including text, images, VR/AR content, and/or voice and video. Test questions are presented and displayed.

상기 응시자 단말(300,310,311)은 시험 프로그램(App)이 설치되는 태블릿 PC 또는 스마트폰 중 어느 하나를 사용하며, 시험 프로그램이 설치되고, 인공지능 안면인식 모듈과 눈2/코/귀2의 얼굴 특징점 5점 척도 부정행위 방지 모듈을 구비한다.The candidate terminals (300, 310, 311) use either a tablet PC or a smartphone on which a test program (App) is installed, an artificial intelligence facial recognition module, and 5 facial feature points of eyes 2/nose/ears 2. Equipped with a point scale fraud prevention module.

응시자 단말은 안면인식 모듈과 부정행위 방지 모듈을 구비하며, 상기 부정행위 방지 모듈은 실시간으로 응시자 단말의 카메라 비전 영상 데이터의 시각적인 부정행위 검출 모듈과, 청각적인 부정행위를 검출하는 음성 인식 모듈을 구비한다. The test taker terminal is equipped with a facial recognition module and a cheating prevention module. The cheating prevention module includes a visual cheating detection module of the camera vision image data of the test taker terminal in real time and a voice recognition module that detects audible cheating. Equipped with

상기 부정행위 방지 모듈은 응시자 단말에 응시자의 부정행위를 방지하기 위해 응시자의 말소리를 인식하는 음성 인식 모듈을 더 구비하며, UBT 시험 시에 부정행위와 관련된 응시자의 말소리가 들리는 경우, 이를 즉시 UBT 시험 서버(100)로 부정행위 얼굴 사진과 소리 파형 데이터를 전송하여 저장하며, 이를 감독관 단말(200)로 전송하여 감독관이 해당 응시자 단말이 부정행위를 방지하도록 상기 UBT 시험 서버(100)를 통해 해당 응시자 단말로 알람을 발생하거나 경고 메시지를 전송하며, 이를 통해 부정행위를 방지하게 한다. The cheating prevention module is further equipped with a voice recognition module in the test taker's terminal that recognizes the test taker's speech sounds to prevent the test taker's cheating, and when the test taker's speech sounds related to cheating are heard during the UBT test, it is immediately detected during the UBT test. The cheating face photo and sound waveform data are transmitted and stored to the server 100, and are transmitted to the proctor terminal 200 so that the proctor can prevent the candidate's terminal from cheating through the UBT test server 100. It generates an alarm or sends a warning message to the terminal, thereby preventing fraudulent activity.

상기 안면인식 모듈에 사용된 AI 기반 안면윤곽선 인식 기술은 posenet 알고리즘(machine learning model which allows for real-time face pose estimation)을 사용한다.The AI-based facial contour recognition technology used in the facial recognition module uses the posenet algorithm (machine learning model which allows for real-time face pose estimation).

실시예에서는, UBT 시험 시에, 응시자 단말은 태블릿 PC를 사용하였다.In the embodiment, during the UBT test, a tablet PC was used as the test taker's terminal.

상기 응시자 단말(300,310,311)은 안면인식 모듈과 부정행위 방지 모듈에 의해 카메라 영상에 대하여 AI 기반 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고, 부정행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식 시에 안면윤곽선 인식이 안되는 경우, 응시자 단말의 시험 화면으로부터 벗어난 경우(눈/코 3점이 양끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리 의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정행위를 방지하도록 해당 응시자 단말로 경고 메시지 또는 알람이 출력된다. The candidate terminals (300, 310, 311) use AI-based facial outline recognition technology (posenet algorithm) on camera images through a facial recognition module and an anti-cheating module to select the right eye/nose point depending on whether the three eye/nose points are close to the two ear points at both ends. / Detects head movement to the left, detects abnormal facial behavior patterns related to cheating, if facial outline is not recognized during face recognition, or if it deviates from the test screen on the test taker's terminal (eyes/nose 3 points, ears 2 on both ends) Depending on how close the point is, if the distance in that direction (eye-to-ear distance, nose-to-ear distance) exceeds a certain standard, a warning message or alarm is output to the test taker's terminal to prevent cheating.

(실시예)(Example)

Posenet 모델을 사용하여 태블릿 PC의 Android에서 사람의 얼굴의 포즈 추정을 위한 TensorFlow를 사용하였다. 참고로, Posenet 알고리즘은 주요 인체의 부위의 위치를 감지하여 이미지나 동영상으로부터 사람의 포즈(pose)를 추정하는 비전 모델이다. TensorFlow Lite는 응시자 단말의 카메라를 활용하여 사람의 주요 인체 부위를 실시간으로 감지하고 표시하는 Android 샘플 어플리케이션을 제공한다. 이 모델은 이미지에서 사람의 팔꿈치 및/또는 무릎 위치를 추정할 수 있으며, 실시예에서는 얼굴인식 시에, 실시간으로 얼굴의 윤곽선과 눈2/코/귀2의 특징점들을 식별하여 안면안곽선 포즈(pose) 추정 모델을 구현하였다.We used TensorFlow to estimate the pose of a human face on Android on a tablet PC using the Posenet model. For reference, the Posenet algorithm is a vision model that detects the positions of major human body parts and estimates a person's pose from images or videos. TensorFlow Lite provides an Android sample application that detects and displays major human body parts in real time using the camera of the candidate's device. This model can estimate the position of a person's elbow and/or knee in an image, and in an embodiment, when recognizing a face, identify the facial outline and the feature points of eyes 2/nose/ear 2 in real time to pose the facial outline pose ( pose) estimation model was implemented.

인공지능 안면인식 모듈에 사용된 posenet 알고리즘은 좌측 눈(leftEye), 우측 눈(rightEye), 코(nose), 왼쪽 귀(leftEar), 오른쪽 귀(rightEar)의 얼굴 특징점 5점 척도 부정행위 방지 모듈을 사용하여 구현하였으며, The posenet algorithm used in the artificial intelligence facial recognition module uses a 5-point scale facial feature points of left eye (leftEye), right eye (rightEye), nose, left ear (leftEar), and right ear (rightEar) to prevent fraud. It was implemented using

leftEar의 x,y좌표와 rightEar의 x,y좌표를 구한 후, 이를 기반으로 원의 직경(diameter)을 구하고, ellipse( )로 천사 고리를 만들 수 있다. diameter는 피타고라스 정리를 굳이 쓰지 않아도 p5js에서 dist( )로 쉽게 구할 수 있다.After finding the x,y coordinates of leftEar and the x,y coordinates of rightEar, you can find the diameter of the circle based on this and create an angel ring with ellipse(). The diameter can be easily obtained using dist() in p5js without having to use the Pythagorean theorem.

<ml5js 및 웹캠 연결하기><Connecting ml5js and webcam>

<script src="https://unpkg.com/ml5@0.3.1/dist/ml5.min.js"></script><script src="https://unpkg.com/ml5@0.3.1/dist/ml5.min.js"></script>

let video;let video;

let poseNet;let poseNet;

function setup( ) {function setup() {

createCanvas(400, 400); createCanvas(400, 400);

video = createCapture(VIDEO); video = createCapture(VIDEO);

//비디오가 2번 안나오게 해주는 용도//Use to prevent the video from appearing twice

video.hide( ); video.hide();

poseNet = ml5.poseNet(video,modelLoaded); poseNet = ml5.poseNet(video,modelLoaded);

poseNet.on('pose',gotPoses); poseNet.on('pose',gotPoses);

console.log(ml5); console.log(ml5);

}}

// 포즈(pose) 관련 콜백들이 들어감// Pose-related callbacks are entered

function gotPoses(poses) { function gotPoses(poses) {

}}

// 로딩이 잘 됐는지 확인하는 용도// To check if loading was successful

function modelLoaded( ) {function modelLoaded() {

console.log('Model Loaded'); console.log('Model Loaded');

}}

function draw( ) {function draw() {

//0,0위치에 웹캠을 그려준다.//Draw the webcam at position 0,0.

image(video,0,0);image(video,0,0);

}}

응시자 단말의 전면 카메라 얼굴 영상으로부터 실시간으로 얼굴 영역을 추출하고, 표준 크기로 크기 보정/회전/각도 보정을 통해 정면 얼굴 사진의 표준 크기로 맞추며, UBT 시험 서버(100)의 DB에 기 저장된 표준 크기의 얼굴 사진 DB의 학습 데이터와 비교 -> 얼굴 사진의 학습 모델 -> 얼굴의 윤곽선과 눈2/코/귀2의 얼굴의 윤곽선의 특징점들을 추출하고 분류하며, 얼굴 인식 데이터의 눈2/코/귀2의 윤곽선의 특징점들의 그룹 clustering(클러스터의 중심 k-means 알고리즘) density estimation하며, 얼굴의 특징점들의 거리(유클리디안 거리)와 유사도(similarity)를 계산하여 UBT 시험 서버(100)의 얼굴 사진 DB에 기 저장된 표준 크기의 응시자의 정면 얼굴 사진의 얼굴 특징점들의 거리(d)와 유사도(similarity)를 비교하여 응시자의 정면 얼굴 사진이 본인임을 확인하여 대리 시험이 방지되며, UBT 시험 시에 부정행위를 판단하게 된다. The face area is extracted in real time from the front camera face image of the candidate's terminal, adjusted to the standard size of the frontal face photo through size correction/rotation/angle correction, and the standard size already stored in the DB of the UBT test server (100). Compare with the learning data of the face photo DB -> Learning model of the face photo -> Extract and classify the facial contour and the feature points of the face outline of eyes 2/nose/ear 2, and eye 2/nose/of the face recognition data. Group clustering (cluster center k-means algorithm) density estimation of the feature points of the outline of the ear 2, and calculating the distance (Euclidean distance) and similarity of the feature points of the face to take the face photo of the UBT test server (100) Proxy testing is prevented by comparing the distance (d) and similarity of facial feature points of the standard-size frontal face photo of the applicant already stored in the DB to confirm that the frontal face photo of the applicant is the applicant, and cheating during the UBT test is prevented. will be judged.

예를들면, 응시자 단말(태블릿 PC)의 시험 화면으로 응시자 단말의 전면 카메라로 촬영되는 얼굴이 향하는 방향이 바뀌거나 응시자가 얼굴을 돌리면 얼굴 사진의 윤곽선과 눈2/코/귀2의 특징점들이 인식이 안되거나 사용자의 얼굴과 스마트폰의 유효 거리(20~30cm)내에서 시험 프로그램을 향하는 각도가 달라지게 되면, 부정행위로 인식하며, 부정행위 감지 결과를 UBT 시험 서버(100)로 전송하고, 이를 감독관 단말(200)로 전송하여 감독관이 해당 응시자 단말이 부정행위를 방지하도록 상기 UBT 시험 서버(100)를 통해 해당 응시자 단말로 알람을 발생하거나 경고 메시지를 전송하며, 이를 통해 해당 응시자의 부정행위를 방지하게 한다. For example, when the direction of the face captured by the front camera of the test taker's terminal (tablet PC) changes or the test taker turns his or her face, the outline of the face photo and the characteristic points of eyes 2, nose, and ears 2 are recognized. If this does not work or the angle toward the test program changes within the effective distance (20 to 30 cm) between the user's face and the smartphone, it is recognized as cheating, and the cheating detection result is transmitted to the UBT test server (100). This is transmitted to the proctor's terminal (200), where the proctor generates an alarm or sends a warning message to the candidate's terminal through the UBT test server (100) to prevent the test taker's device from cheating. to prevent.

또한, 응시자 단말은 안면 인식 모듈과 부정행위 방지 모듈을 구비하며, In addition, the candidate terminal is equipped with a facial recognition module and an anti-cheating module.

상기 부정행위 방지 모듈은 응시자 단말에 응시자의 부정행위를 방지하기 위해 응시자의 말소리를 인식하는 음성 인식 모듈을 더 구비하며, UBT 시험 시에 응시자 단말의 마이크를 통해 입력된 부정행위와 관련된 응시자의 말소리가 들리는 경우 음성인식하고, 이를 즉시 UBT 시험 서버(100)로 전송하여 저장하며, 이를 감독관 단말(200)로 전송하여 감독관이 해당 응시자 단말이 부정행위를 방지하도록 UBT 시험 서버(100)를 통해 해당 응시자 단말로 알람을 발생하거나 경고 메시지를 전송하며, 이를 통해 해당 응시자의 부정행위를 방지하게 한다. 또는, 눈과 귀의 거리, 코와 귀의 거리의 정의된 거리의 임계치(임계값)를 참조하여 서버 명령 없이 응시자 프로그램에서 직접 해당 응시자 단말로 경고 메시지를 표시하고, 감독관 단말(200) 또는 부정행위 검출 서버, 또는 기타 시험 관리 서버로 전송할 수 있다. The cheating prevention module further includes a voice recognition module in the test taker's terminal that recognizes the candidate's speech sounds to prevent the test taker's cheating, and the test taker's speech sounds related to the cheating input through the microphone of the test taker's terminal during the UBT test. When heard, the voice is recognized, immediately transmitted to the UBT test server (100) and stored, and transmitted to the proctor terminal (200) so that the proctor can prevent the candidate's terminal from cheating through the UBT test server (100). It generates an alarm or sends a warning message to the test taker's terminal, thereby preventing the test taker from cheating. Alternatively, a warning message is displayed on the candidate's terminal directly from the test taker program without a server command, referring to the defined distance threshold (threshold value) of the eye-to-ear distance and nose-to-ear distance, and the supervisor terminal 200 or cheating is detected. It can be transmitted to the server or other test management server.

UBT 시험 서버(100)는 WWW 서버(101), 제어부(102), 회원 등록부(103), 사용자 인증부(104), 시험 공지부(105), QR 코드 관리부(106), 인사말 제공부(TTS)(107), 감독자 확인부(108), 얼굴 인식부(109), 부정행위 처리부(110), 시험 관리부(111), 시험 정보DB(120), 응시자DB(121), 및 얼굴사진 DB(123)를 포함한다. The UBT test server 100 includes a WWW server 101, a control unit 102, a member registration unit 103, a user authentication unit 104, a test notification unit 105, a QR code management unit 106, and a greeting provision unit (TTS). ) (107), supervisor confirmation unit (108), face recognition unit (109), cheating processing unit (110), test management unit (111), test information DB (120), candidate DB (121), and face photo DB ( 123).

상기 UBT 시험 서버(100)는 The UBT test server 100 is

태블릿 PC 또는 스마트폰 중 어느 하나 단말을 사용하는 응시자 단말과 감독관 단말과 유무선 통신을 통해 연결되는 WWW 서버(101); A WWW server 101 connected to a test taker terminal using either a tablet PC or a smartphone and a supervisor terminal through wired or wireless communication;

유무선 통신망을 통해 응시자 단말과 감독관 단말(200)로 유비쿼터스 기반 학습(UBL, Ubiquitous-based Learning)과 유비쿼터스 기반 시험(UBT, Ubiquitous-based Test)의 응용 서비스를 제공하도록 제어하는 제어부(102); A control unit (102) that controls to provide application services of Ubiquitous-based Learning (UBL) and Ubiquitous-based Test (UBT) to the candidate terminal and proctor terminal (200) through a wired or wireless communication network;

상기 제어부(102)에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부(103); A member registration unit (103) connected to the control unit (102), which receives the candidate's membership information and stores and manages the ID/Passwd;

상기 제어부(102)에 연결되며, QR 코드/Passwd 또는 ID/Passwd를 사용하여 사용자를 인증하는 사용자 인증부(104); A user authentication unit 104 connected to the control unit 102 and authenticating the user using QR code/Passwd or ID/Passwd;

상기 제어부(102)에 연결되며, 태블릿 PC 또는 스마트폰 기반 유비쿼터스 기반 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부(105); A test announcement unit 105 connected to the control unit 102 and providing tablet PC or smartphone-based ubiquitous based learning (UBL) and test (UBT) schedules and locations;

상기 제어부(102)에 연결되며, 시험 응시자들에게 응시자 정보에 대응하는 응시자의 응시표에 부착되는 QR 코드를 발급하고, 이를 관리하는 QR 코드 관리부(106); A QR code management unit 106 connected to the control unit 102 and issuing to test takers a QR code attached to the test taker's test ticket corresponding to the test taker information and managing the QR code;

응시자들의 응시표에 부착되는 QR 코드 인식 후, TTS 변환 기술을 통해 인사말을 제공하는 인사말 제공부(TTS)(107); A greeting service unit (TTS) 107 that provides a greeting through TTS conversion technology after recognizing the QR code attached to the test taker's application form;

상기 제어부(102)에 연결되며, 응시자 단말로부터 카메라의 응시자의 촬영 사진을 수신받아 표준 크기로 크기 보정/회전/각도 보정을 통해 정면 얼굴 사진을 생성하고 이를 UBT 시험 서버(100)의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 응시자의 정면 얼굴 사진을 비교하며, 감독관 단말(200)에서 감독관이 응시자 본인 사진을 확인하여 대리 시험 여부를 체크하고, 시험 응시 자격을 확인하는 감독관 확인부(108); It is connected to the control unit 102, receives a photograph of the candidate taken by a camera from the candidate terminal, creates a frontal face photograph through size correction/rotation/angle correction to a standard size, and stores it in the database of the UBT test server 100. a proctor confirmation unit (108) that compares the stored applicant information with a standard-sized frontal face photo of the applicant, checks the applicant's own photo at the proctor terminal (200) to check whether the proctor takes the test, and verifies eligibility to take the test;

상기 제어부(102)에 연결되며, 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점을 인식하고, 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부(109); A face recognition unit ( 109);

상기 제어부(102)에 연결되며, 응시자 단말에서 안면인식 모듈과 부정행위 방지 모듈에 의해 전면 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고, 컨닝 페이퍼를 보는 부정행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정행위를 방지하도록 해당 응시자 단말로 경고 메시지 또는 알람이 출력되며, 감독관 단말(200)로 전송되도록 해당 응시자 단말로부터 경고 메시지 또는 알람을 수신하는 부정행위 처리부(110); It is connected to the control unit 102, and the facial recognition module and anti-cheating module in the test taker's terminal use facial outline recognition technology (posenet algorithm) on the front camera image to make 3 points of eyes/nose close to 2 points of ears at both ends. Detects head movement to the right/left depending on whether the face is lost, detects abnormal facial behavior patterns related to cheating by reading cheat sheets, and detects facial contours that are not recognized when recognizing a face, or when the face moves away from the test screen (eyes/nose Depending on whether point 3 approaches point 2 at either end of the ears, if the distance in the corresponding direction (eye-to-ear distance or nose-to-ear distance exceeds a certain standard), a warning message or alarm is output to the test taker's terminal to prevent cheating. a fraud processing unit 110 that receives a warning message or alarm from the candidate's terminal to be transmitted to the supervisor terminal 200;

상기 제어부(102)에 연결되며, 상기 응시자 단말과 상기 감독관 단말(200)로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, UBT 시험 시에, 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 이를 각각의 응시자 단말로부터 상기 UBT 시험 서버(100)로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부(111);It is connected to the control unit 102, provides a test program (App) and test papers to the candidate terminal and the proctor terminal 200, manages candidate information, on-site facial photos of the test taker, and proctor information, and manages the test taker's on-site face photo and proctor information during the UBT test. After storing the answers written on the test paper on each test taker's terminal within a certain test time, these are sent from each test taker's terminal to the UBT test server (100) at the end of the test, and the answers written on the test paper by the test takers, scoring results, supervisor information, and candidate status are A test management unit (111) that stores and manages information;

응시자들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB(120); 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB(121)와 얼굴 DB(123)를 포함한다. Test information DB (120) that stores test takers' test papers, written answers, and scoring results; It includes a candidate DB (121) and a face DB (123) that store candidate information and standard-sized frontal face photos.

응시자 단말은 유비쿼터스 기반 시험(Ubiquitous-based Test, UBT)를 위한 스마트폰, 태블릿 PC 뿐만 아니라, 인터넷 접속이 가능한 이동통신 단말, 또는 노트북을 포함한다. Candidate terminals include not only smartphones and tablet PCs for the Ubiquitous-based Test (UBT), but also mobile communication terminals with Internet access or laptops.

응시자 단말은 시험 프로그램(App)이 설치되며, 응시자 단말의 카메라 영상의 인공지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2의 얼굴의 특징점 5점 척도 부정행위 방지 모듈이 구비되며, UBT 시험 서버(100)로부터 다운로드 받은 시험 프로그램(App)이 설치되며, A test program (App) is installed on the test taker's terminal, and it is equipped with an artificial intelligence facial recognition module of the camera image of the test taker's device and a cheat prevention module that measures the outline of the face and the facial features of eyes 2, nose, and ears 2 on a 5-point scale. The test program (App) downloaded from the UBT test server (100) is installed,

상기 안면인식 모듈에 사용된 AI 기반 안면윤곽선 인식 기술은 posenet 알고리즘을 사용한다. The AI-based facial outline recognition technology used in the facial recognition module uses the posenet algorithm.

응시자 단말은 안면인식 모듈과 부정행위 방지 모듈을 구비하며, 부정행위 방지 모듈은 실시간으로 부정행위를 인식하는 응시자 단말의 카메라 비전 영상의 부정행위 검출 모듈과 청각적인 부정행위를 인식하는 음성인식 모듈을 구비한다. The candidate terminal is equipped with a facial recognition module and a cheating prevention module. The cheating prevention module includes a cheating detection module for the camera vision image of the candidate terminal that recognizes cheating in real time and a voice recognition module that recognizes cheating audibly. Equipped with

UBT 시험 서버(100)는 의과 대학/치과 대학/약학 대학/공과 대학 등의 대학 시험, TOEIC/TOEFL 시험, 어학 시험, 공무원 시험, 자격증 시험, 보건의료교육 학습과 시험지를 제공하는 문제 은행의 각종 공인 인증 시험 또는 비공인 시험을 시험 일정과 장소를 공지하고, UBT 시험 서버(100)의 데이터베이스의 시험 프로그램을 사용하여 유무선 통신망을 통해 응시자 단말들로 온라인/오프라인 시험 문제를 활용하여 시험을 치를 수 있는 모든 형태의 스마트 기기를 활용하는 UBT 시험을 제공한다. The UBT test server (100) is a variety of question banks that provide university exams such as medical/dental/pharmacy/engineering colleges, TOEIC/TOEFL, language tests, civil service exams, certification exams, and health and medical education study and test papers. Announce the test schedule and location for an official certification test or an unofficial test, and use the test program in the database of the UBT test server (100) to take the test using online/offline test questions on the candidate's terminal through a wired or wireless communication network. We provide UBT testing that utilizes all types of smart devices available.

제어부(102)는 시험일정과 장소가 확정되면, 감독관을 선임하여 감독관에게 감독관선임정보를 제공하고, 응시자들에게 문자 메시지/웹페이지를 통해 시험 일정과 장소를 공지하며, 시험 당일 시험장소의 감독관 단말(200)로 시험 정보와 시험지 정보를 송수신하여 시험을 진행 관리하며, 자동채점결과부(124) 및 검수관리부(125)의 결과로부터 채점결과를 해당 응시자 단말들로 제공한다.Once the test schedule and location are confirmed, the control unit 102 appoints a proctor, provides the proctor appointment information to the proctor, announces the exam schedule and location to test takers via text message/web page, and appoints a proctor at the test location on the day of the exam. The test is progressed and managed by sending and receiving test information and test paper information to the terminal 200, and the scoring results from the results of the automatic scoring result book 124 and the inspection management department 125 are provided to the relevant candidate terminals.

시험정보 데이터베이스(120)에 저장되는 시험정보는 시험 제목, 시험 일정과 장소, 시험 시간, 시험 장소의 위치 정보, 할당된 시험실별 감독관 정보와 응시자들 명단, 시험실별 좌석수, 감독관 정보, A/B 유형별 시험지의 문제 정보, 답안 정보, 채점 정보, 감독관 정보를 포함한다.The test information stored in the test information database 120 includes test title, test schedule and location, test time, test location location information, proctor information for each assigned exam room, list of candidates, number of seats for each exam room, proctor information, A/ B Includes question information, answer information, scoring information, and supervisor information for each type of test paper.

그리고, 응시자 데이터베이스(121)는 이름, 주민등록번호, 집주소, 이동전화번호, 이메일 등을 포함하는 응시자 정보, 응시자 사진(표준 크기의 정면 얼굴 사진) 및 QR 코드/passwd, ID/passwd 식별 정보와 시험 관련 정보, 응시자 신청 현황이 저장된다.And, the candidate database 121 contains candidate information including name, resident registration number, home address, mobile phone number, email, etc., candidate photo (standard-size frontal face photo), QR code/passwd, ID/passwd identification information, and test Relevant information and candidate application status are stored.

도 11은 본 발명에 따른 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 태블릿 PC 또는 스마트폰 기반 UBT 제공 방법을 나타낸 순서도이다. Figure 11 is a flowchart showing a method of providing UBT based on a tablet PC or smartphone using facial contour recognition artificial intelligence to prevent cheating according to the present invention.

부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 태블릿 PC 또는 스마트폰 기반 UBT 제공 방법은 How to provide UBT based on tablet PC or smartphone using facial contour recognition artificial intelligence to prevent fraud

UBT 시험 서버(100)가 응시자 단말로부터 회원 정보를 등록받고, 로그인/사용자 인증 후에, 응시자 정보와 정면 얼굴 사진을 등록받아 저장하는 단계(S10); The UBT test server 100 registers member information from the candidate's terminal, and after login/user authentication, registers and stores the candidate information and frontal face photo (S10);

응시자 정보와 정면 얼굴 사진에 대응하는 응시표에 부착되는 QR 코드를 발급하는 단계(S20); A step of issuing a QR code attached to the test ticket corresponding to the candidate information and frontal face photo (S20);

상기 UBT 시험 서버(100)가 주관 시험에 따라 시험 일정과 장소를 공지하는 단계(S30);Step (S30) where the UBT test server 100 announces the test schedule and location according to the subjective test;

응시자의 응시표에 부착된 QR 코드를 스마트폰으로 찍어 응시자 단말(태블릿 PC 등)의 카메라에 인식 화면에 대면 동작되며, QR 코드 인식 후, TTS(Text To Speech) 기능을 통해 인사말을 제공하는 단계(S40); It is operated by scanning the QR code attached to the candidate's test ticket with a smartphone and touching it to the recognition screen of the camera of the candidate's terminal (tablet PC, etc.). After recognizing the QR code, a greeting is provided through the TTS (Text To Speech) function ( S40);

AI 기반 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하는 안면인식 모듈을 구비하는 응시자 단말에서 카메라의 정면 얼굴 사진의 얼굴 인식 결과를 UBT 시험 서버(100)로 수신받아 표준 크기로의 크기 보정/회전/각도 보정된 표준 크기의 정면 얼굴 사진을 생성하고, 이를 감독관 단말(200)이 UBT 시험 서버(100)의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 응시자 본인 여부를 확인하여 대리 시험을 방지하며 시험 응시 여부를 결정하는 단계(S50); The facial recognition results of the frontal face photo from the camera are received from the candidate terminal equipped with a facial recognition module using AI-based facial outline recognition technology (posenet algorithm) to the UBT test server (100), and size correction/rotation/reduction to standard size is performed. An angle-corrected standard-size frontal face photo is created, and the proctor terminal 200 compares the candidate information already stored in the database of the UBT test server 100 with the standard-size frontal face photo to confirm the applicant's identity and act as a proxy. A step of preventing a test and deciding whether to take the test (S50);

상기 UBT 시험 서버(100)에 연동된 응시자 단말에 설치된 시험 프로그램(App)의 시험지 문항은 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 디스플레이 되는 단계; The test paper questions of the test program (App) installed on the candidate's terminal linked to the UBT test server 100 include not only text and images for each question, but also multimedia test questions that include text, images, VR/AR content, voice, and video. A step of presenting and displaying questions;

응시자 단말의 안면인식 모듈에 의해 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점을 인식하고 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하여 부정행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 응시자 단말의 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리(d)가 일정 기준치(수치값)를 넘는 경우) 및/또는 말소리가 들리는 경우, 부정행위로 인식하여 부정행위와 관련된 얼굴 사진 및/또는 응시자의 음성 데이터를 상기 UBT 시험 서버(100)로 전송하고, 이를 감독관 단말(200)로 출력되며, 상기 UBT 시험 서버(100)로부터 해당 응시자 단말로 경고 메시지 또는 알람을 수신하는 단계(S60); The facial recognition module of the test taker's terminal recognizes the outline of the test taker's face and the eye 2/nose/ear 2 feature points, and detects head movement to the right/left depending on whether the eye/nose 3 points are close to the ear 2 points at either end, thereby detecting the head movement. Detects abnormal facial behavior patterns related to behavior, and if the facial outline is not recognized during face recognition or if it deviates from the test screen of the test taker's terminal (eyes and ears are checked depending on whether the 3 points of the eyes/nose are close to the 2 points of the ears at either end) If the distance (d) in the relevant direction (distance between the nose and the ear) exceeds a certain standard (numerical value) and/or speech sounds are heard, it is recognized as cheating and a photo of the face and/or the candidate's voice related to the cheating. Transmitting data to the UBT test server 100, outputting it to the proctor terminal 200, and receiving a warning message or alarm from the UBT test server 100 to the candidate's terminal (S60);

응시자 단말과 감독관 단말(200)로 시험 프로그램(App)과 온라인 시험지를 제공하며, 응시자 정보들과 응시자의 현장 정면 얼굴 사진, 감독관 정보를 UBT 시험 서버(100)의 데이터베이스에 저장하여 관리하며, UBT 시험시에 일정 시험시간 동안 각각의 응시자 단말에 시험지 작성 답안을 저장 후, 시험 종료 시 이를 각각의 응시자 단말로부터 상기 UBT 시험 서버(100)로 전송받아 저장하며(S70), 응시자들의 시험지 작성 답안의 채점 결과를 응시자 단말로 제공하는 단계(S80)를 포함하며, A test program (App) and online test papers are provided to the candidate terminal and the proctor terminal (200), and the candidate information, the candidate's on-site frontal face photo, and the proctor information are stored and managed in the database of the UBT test server (100), and UBT At the time of the test, the answers written on the test paper are stored in each candidate's terminal for a certain test time, and at the end of the test, the answers are transmitted from each test taker's terminal to the UBT test server 100 and stored (S70), and the answers written on the test paper by the test takers are stored. Includes a step (S80) of providing scoring results to the candidate's terminal,

상기 안면인식 모듈에 사용된 AI 기반 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,The AI-based facial outline recognition technology used in the facial recognition module uses the posenet algorithm,

상기 UBT 시험 서버(100)는 상기 응시자의 응시표에 부착된 QR 코드 인식 후, TTS 변환 기술을 통해 인사말을 제공하는 인사말 제공부(TTS)를 더 포함하며, The UBT test server 100 further includes a greeting service unit (TTS) that provides a greeting through TTS conversion technology after recognizing the QR code attached to the test taker's test ticket,

상기 UBT 시험 서버(100)에 연동된 응시자 단말에 설치된 시험 프로그램(App)의 시험지 문항은 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 디스플레이 된다. The test paper questions of the test program (App) installed on the candidate's terminal linked to the UBT test server 100 include not only text and images for each question, but also multimedia test questions that include text, images, VR/AR content, voice, and video. The questions are presented and displayed.

응시자 단말은 인공지능(AI) 기반 안면윤곽선 인식 기술은 태블릿 PC의 카메라 영상의 안면윤곽선 인식을 위해 posenet 알고리즘을 사용하였다. UBT 시험 시에, AI 기반의 얼굴인식 기술을 사용하여 UBT 시험 서버(100)에 연동된 감독관 단말(200)을 통해 태블릿 PC의 응시자 본인을 확인하고 대리 시험을 방지하며, UBT 시험장의 응시자 얼굴의 안면인식 출입통제 시스템으로 활용 가능하며, UBT 시험에서 대리 시험이나 부정 행위를 방지한다.The candidate's terminal uses artificial intelligence (AI)-based facial outline recognition technology to use the posenet algorithm to recognize the facial outline of the tablet PC's camera image. During the UBT test, AI-based facial recognition technology is used to verify the candidate's identity on the tablet PC through the proctor terminal (200) linked to the UBT test server (100), prevent proxy testing, and identify the candidate's face at the UBT test site. It can be used as a facial recognition access control system and prevents proxy testing or cheating in the UBT test.

상기 응시자 단말은 시험 프로그램(App)이 설치되는 태블릿 PC 또는 스마트폰 중 어느 하나를 사용하며, 상기 시험 프로그램이 설치되고, 상기 인공지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2의 얼굴의 특징점 5점 척도 부정행위 방지 모듈을 구비한다. The candidate terminal uses either a tablet PC or a smartphone on which a test program (App) is installed. The test program is installed, and the artificial intelligence facial recognition module and the outline of the face and eyes 2/nose/ears 2 are used. It is equipped with a fraud prevention module that measures facial features on a 5-point scale.

상기 안면인식 모듈에 사용된 AI 기반 안면윤곽선 인식 기술은 posenet 알고리즘을 사용한다. The AI-based facial outline recognition technology used in the facial recognition module uses the posenet algorithm.

응시자 단말(300,310,311)은 UBT 시험 서버(100)에 유무선 통신망(LAN, Wi-Fi, LTE 4G/5G)을 통해 연결되며, 인공지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2의 얼굴 특징점 5점 척도 부정행위 방지 모듈을 구비하며, UBT 시험 시에 응시자 단말의 전면 카메라로 실시간으로 촬영된 얼굴 영상의 ROI(Region of Interest)를 검출하여 코의 꼭지점을 기준으로 표준 크기로의 크기 보정/회전/각도 보정된 표준 크기의 얼굴 사진을 생성하며, 가로x세로 표준 크기의 얼굴 사진의 얼굴 특징점들의 특징 벡터 x를 구하고, 눈2,코, 귀2의 특징 추출과 분류를 통해 얼굴의 특징점들의 유클리디안 거리(d)와 유사도(similarity)를 계산하며, UBT 시험 서버(100)의 얼굴사진 DB의 기 저장된 데이터와 비교하여 대리 시험 여부를 확인하게 하며, UBT 시험 시에 응시자 단말의 카메라로 촬영된 전면 얼굴이 좌우로 돌아간 각도에 따라 부정행위를 판단하여 얼굴 사진의 부정행위 정보를 UBT 시험 서버(100)로 전송하고, 감독관 단말(200)이 부정행위 정보가 확인되면, UBT 시험 서버(100)로부터 해당 응시자 단말로 부정행위 방지 알람을 발생하거나 경고 메시지를 출력한다. Candidate terminals (300, 310, 311) are connected to the UBT test server (100) through a wired or wireless communication network (LAN, Wi-Fi, LTE 4G/5G), and use the artificial intelligence facial recognition module to determine the outline of the face and eyes 2/nose/ears 2. It is equipped with a 5-point facial feature point scale fraud prevention module and detects the ROI (Region of Interest) of the face image captured in real time with the front camera of the test taker's terminal during the UBT test, and adjusts the size to a standard size based on the vertex of the nose. Create a standard-sized face photo with correction/rotation/angle correction, obtain the feature vector The Euclidean distance (d) and similarity of the feature points are calculated and compared with the data already stored in the face photo DB of the UBT test server 100 to check whether a proxy test is performed, and the test taker's terminal is used during the UBT test. Cheating is determined based on the angle at which the front face captured by the camera is turned left and right, and the cheating information in the face photo is transmitted to the UBT test server 100. When the proctor terminal 200 confirms the cheating information, the UBT test is performed. The server 100 generates an anti-cheating alarm or outputs a warning message to the candidate's terminal.

상기 응시자 단말은 안면인식 모듈과 부정행위 방지 모듈에 의해 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치(수치)를 넘는 경우) 및/또는 말소리가 들리는 경우, 부정행위를 방지하도록 해당 응시자 단말로 경고 메시지 또는 알람이 출력된다. The candidate terminal uses facial outline recognition technology (posenet algorithm) for camera images through a facial recognition module and an anti-cheating module to move the head to the right/left depending on whether the 3 points of the eyes/nose are close to the 2 points of the ears at either end. Detects abnormal facial behavior patterns related to cheating. If the facial outline is not recognized during face recognition, or if it deviates from the test screen (eyes/nose 3 points are close to the 2 ears at both ends, the eye and nose If the distance between the ears and the nose-to-ear distance in the relevant direction exceeds a certain standard value (numerical value) and/or speech sounds are heard, a warning message or alarm is output to the test taker's terminal to prevent cheating.

상기 응시자의 응시표에 부착된 QR 코드를 스마트폰으로 찍어 응시자 단말의 카메라에 인식 화면에 대면 동작되며, 상기 응시자의 응시표에 부착된 QR 코드 인식 후, TTS(Text To Speech) 기능을 통해 인사말을 제공하는 단계를 더 포함한다. The QR code attached to the test taker's test ticket is taken with a smartphone and placed on the recognition screen of the candidate's terminal camera. After recognizing the QR code attached to the test taker's test ticket, a greeting is provided through the TTS (Text To Speech) function. It further includes steps.

시험 프로그램의 시험지 문항은 각 문항마다 단지 텍스트 및 이미지 뿐만아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 디스플레이된다.The test paper questions in the test program are displayed not only with text and images, but also with multimedia test questions that include text, images, VR/AR content, voice, and video for each question.

안면윤곽선 인식 인공지능을 사용한 UBT 제공 방법은, The method of providing UBT using facial contour recognition artificial intelligence is:

상기 응시자 단말은 시험 프로그램(App)이 설치되는 태블릿 PC 또는 스마트폰 중 어느 하나를 사용하며, 상기 시험 프로그램이 설치되고, 상기 인공지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2의 얼굴의 특징점 5점 척도 부정행위 방지 모듈을 구비한다.The candidate terminal uses either a tablet PC or a smartphone on which a test program (App) is installed. The test program is installed, and the artificial intelligence facial recognition module and the outline of the face and eyes 2/nose/ears 2 are used. It is equipped with a fraud prevention module that measures facial features on a 5-point scale.

상기 응시자 단말은 상기 안면인식 모듈과 상기 부정행위 방지 모듈을 구비하며, 상기 부정행위 방지 모듈은 실시간으로 응시자 단말의 카메라 비전 영상 데이터의 시각적인 부정행위 검출 모듈과 청각적인 부정행위를 검출하는 음성 인식 모듈을 구비하며, The candidate terminal is equipped with the facial recognition module and the cheating prevention module, and the cheating prevention module includes a visual cheating detection module of camera vision image data of the candidate terminal in real time and a voice recognition that detects audible cheating. Equipped with a module,

상기 음성 인식 모듈은 상기 응시자 단말에 응시자의 부정행위를 방지하기 위해 응시자의 말소리를 인식하며, UBT 시험 시에 부정행위와 관련된 응시자의 말소리가 들리는 경우, 상기 응시자 단말의 마이크를 통해 입력된 응시자의 음성 데이터를 즉시 UBT 시험 서버(100)로 전송하여 이를 저장하며, 이를 감독관 단말로 전송하여 감독관이 해당 응시자 단말이 부정행위를 방지하도록 상기 UBT 시험 서버(100)를 통해 해당 응시자 단말로 알람을 발생하거나 경고 메시지를 전송하는 단계를 더 포함한다. The voice recognition module recognizes the candidate's speech sound in order to prevent the candidate from cheating on the candidate terminal, and when the candidate's speech related to cheating is heard during the UBT test, the voice recognition module inputs the candidate's voice through the microphone of the candidate terminal. The voice data is immediately transmitted to the UBT test server (100) and stored, and it is transmitted to the proctor's terminal so that the proctor generates an alarm to the candidate's terminal through the UBT test server (100) to prevent the candidate's terminal from cheating. or further includes the step of transmitting a warning message.

또한, 상기 방법은 응시자 단말의 카메라 영상의 사용자의 얼굴 움직임을 [텍스트 A]와 같이 프레임 단위로 저장하면서 정의된 일정 프레임 또는 시간 또는 횟수를 차감하다가 0이 되는 시점에 응시자 단말로 경고 메시지를 표출/노출하거나, 감독관 기기 또는 부정행위 검출 이미지를 UBT 시험 서버(100)로 전송한 후, 경고 트리거 횟수를 초기화하여 다음 움직임부터 다시 차감을 시작하는 단계를 포함한다.In addition, the method stores the user's facial movements in the camera image of the candidate's terminal in frame units as shown in [Text A], subtracts a defined certain frame, time, or number, and displays a warning message on the candidate's terminal when it reaches 0. /After exposing or transmitting the proctor device or fraud detection image to the UBT test server 100, it includes a step of initializing the number of warning triggers and starting the deduction again from the next movement.

실시예에서는, 응시자가 시험응시를 신청하게 되면 시험신청정보를 시험 서버에 응시자의 시험접수를 수행하는 시험신청접수 과정과; 시험 일정과 시간과 장소가 결정되면 해당 시험의 응시자들에게 시험일정과 시간과 장소 정보를 포함하는 시험정보를 공지하는 시험정보 공지 과정; 시험장소 및 시간이 설정되면, 설정된 시험의 일시와 장소의 시험실별 감독관을 설정하고, 감독관에게 선임사실을 알리는 감독관 선임 정보를 제공하며, 해당 감독관으로부터 시험 서버로 선임확인정보를 수신하여 감독관설정과정을 완료하는 감독관 설정 과정; 시험 당일 해당 시험 장소의 감독관으로부터 시험 장소 셋팅정보의 입력을 대기하고, 감독관으로부터의 시험장소 셋팅정보가 입력되면, 시험 프로그램(어플, App)을 제공하여 응시자들의 태블릿PC에 설치하도록 하고, 응시자들의 태블릿 PC에 설치된 시험 프로그램을 통해 접속된 응시자들에게 시험접속확인을 요청하는 시험장 셋팅 과정; 시험 장소 셋팅이 완료되면 설정되어 있는 문제의 유형과 문제선택설정정보(난이도)를 참조하여 등록저장 되어 있는 시행될 문제리스트 중 어느 하나를 선택하고, 설치된 응시자들의 시험 프로그램과 통신하여 시험 문제를 제공하며, 응시자 단말은 시험 프로그램을 통해 시험지의 답안정보를 UBT 시험 서버(100)로 수신하여 응시자별로 저장하는 시험진행 과정과, 모든 시험문제가 출제되고, 시험이 종료되면 감독관의 종료확인정보 입력을 대기하고, 감독관의 종료확인정보가 입력되면, 응시자들의 태블릿PC에 설치된 응용프로그램을 자동 삭제시키는 시험마무리 과정; 및 시험 서버로 수신 저장된 각 응시생들의 작성 답안을 채점답안정보와 비교하여 채점하며, 그 채점결과정보를 공지하는 시험발표 과정으로 이루어진다.In an embodiment, when a test taker applies to take the test, the test application reception process includes sending the test application information to the test server to register the test taker; Once the test schedule, time, and location are determined, the test information announcement process that announces test information including the test schedule, time, and location information to test takers; Once the test location and time are set, a proctor is set for each test room at the set date and time of the test, and proctor appointment information is provided to notify the proctor of the appointment. Appointment confirmation information is received from the proctor to the test server to complete the proctor setting process. Complete the proctor setup process; On the day of the test, wait for the test site setting information to be input from the test site proctor. Once the test site setting information is input from the proctor, a test program (app) is provided to the test takers to install on their tablet PC, and the test takers Test site setting process to request test connection confirmation from test takers connected through the test program installed on the tablet PC; Once the test location setting is completed, refer to the set problem type and problem selection setting information (difficulty level) to select one of the registered and stored problem lists to be administered, and provide test questions by communicating with the installed test program of the test taker. In addition, the test taker's terminal receives the answer information of the test paper through the test program to the UBT test server (100) and stores it for each test taker. The test progress process includes all test questions being asked and the completion confirmation information input by the proctor when the test is completed. A test completion process that automatically deletes applications installed on the test takers' tablet PCs when waiting and the supervisor's completion confirmation information is entered; It consists of a test presentation process in which each test taker's answers received and stored on the test server are compared with the scoring answer information and the scoring result information is announced.

감독관 선임은 미리 등록된 감독관 중에서 선택하게 되며, 이들 감독관은 미리 계약된 감독관들이며 시험정보 데이터베이스에 등록관리 한다.The appointment of a supervisor is selected from pre-registered supervisors, and these supervisors are pre-contracted supervisors and are registered and managed in the test information database.

감독관이 선임되면, 감독관선임정보를 제공하고, 감독관으로부터 선임확인정보를 수신하여 감독관설정과정을 완료하게 된다.When a supervisor is appointed, supervisor appointment information is provided, appointment confirmation information is received from the supervisor, and the supervisor setting process is completed.

감독관선임정보는 시험 장소, 시험 시간, 응시인원 정보를 포함한다.Proctor appointment information includes test location, test time, and number of test takers.

응시인원 정보는 각 응시자들의 사진과 이름, 성별, 주소를 포함하는 인적 정보와, 연락처 정보를 포함한다.Candidate information includes each candidate's photo, personal information including name, gender, and address, and contact information.

시험 셋팅 과정은 시험당일 미리 설정되어 있는 준비시간 전 시험에 필요한 부분들을 점검하고 시험을 진행하기 위한 장치를 셋팅하기 위한 과정이다.The test setting process is a process to check the parts required for the test and set up the equipment to conduct the test before the pre-set preparation time on the test day.

시험장이 응시자들을 감독관이 응시자 정보와 얼굴 사진을 확인하고 이에 대한 확인정보인 시험장소 셋팅정보를 입력하면, UBT 시험 서버(100)로부터 시험에 필요한 시험 프로그램(App)을 제공받게 되며, 응시자들이 시험프로그램을 태블릿 PC에 설치하며, 시험 프로그램을 통해 UBT 시험 서버(100)로 데이터를 송수신하여 응시자들이 신청 정보 입력 시, 입력한 식별 정보를 통해 응시자들의 시험접속확인을 완료하는 과정이다.When the proctor checks the applicant information and face photo and enters the test location setting information, which is confirmation information, the test program (App) required for the test is provided from the UBT test server (100), and the test taker is provided with a test program (App) required for the test. This is the process of installing the program on a tablet PC, sending and receiving data to the UBT test server (100) through the test program, and completing the test access confirmation through the identification information entered by candidates when they enter application information.

감독관의 시험 셋팅 정보는 시험에 참가한 응시자수 정보를 포함하고, 응시자들의 식별정보는 응시자들이 신청정보 입력 시, 입력한 이름, 주민등록번호와 같은 인적 정보 중 어느 하나 또는 회원 아이디로 이루어진다.The proctor's test setting information includes information on the number of test takers participating in the test, and the test takers' identification information consists of one of the personal information such as name and resident registration number or member ID entered by the test takers when entering application information.

시험 프로그램(App)은 시스템에 접속하여 식별정보를 입력하여 시험프로그램을 다운로드받아 설치하는 과정으로 이루어지거나, 시스템에서 감독관이 시험 셋팅 정보를 입력하면, 감독관 단말에서 시험프로그램의 경로를 제공하고, 그 경로에 따라 응시자들이 시험프로그램을 설치하도록 하는 과정을 포함할 수 있다.The test program (App) consists of accessing the system, entering identification information, downloading and installing the test program, or when the proctor enters test setting information in the system, the proctor terminal provides the path to the test program, and the proctor terminal provides the path to the test program. Depending on the route, it may include the process of having candidates install the test program.

도 3a는 어학, 보건의료교육 UBT 시험시에 태블릿 PC 또는 스마트폰 기반 UBT 시험 서버를 구비하는 안면윤곽선 인식 인공지능 플랫폼 개념을 보인 도면이다.Figure 3a is a diagram showing the concept of a facial contour recognition artificial intelligence platform equipped with a tablet PC or smartphone-based UBT test server during language and health care education UBT tests.

도 3b는 유비쿼터스 기반 학습(Ubiquitous based Learning, UBL) 및 유비쿼터스 기반 시험(Ubiquitous based Test, UBT) NSDAI 플랫폼 상의 얼굴 인식 기능을 보인 도면이다. Figure 3b is a diagram showing the face recognition function on the Ubiquitous based Learning (UBL) and Ubiquitous based Test (UBT) NSDAI platform.

도 3c, 3d는 UBT 시험시에 태블릿 PC 또는 스마트폰에서 사용하는 UBI cloud App, NS face platform의 목표와 User Experience(1. 사용자 등록-> 2. 학습-> 3. 응시표에 부착되는 QR 코드 생성 -> 4. UBT App/Web 로그인(QR code/passwd, ID/passwd) -> 5. 감독자 확인과 시험-> 6.7 UBT App/Web 카메라의 얼굴의 안면윤곽선 인식 8. 시험 종료)을 보인 그림이다. Figures 3c and 3d show the goals and User Experience of the UBI cloud app and NS face platform used on tablet PCs or smartphones during the UBT test (1. User registration -> 2. Learning -> 3. QR code generation attached to the test sheet) -> 4. UBT App/Web login (QR code/passwd, ID/passwd) -> 5. Supervisor confirmation and test -> 6.7 Facial outline recognition of face by UBT App/Web camera 8. End of test) .

도 4는 응시자 등록부터 시험 응시부의 과정, 1) 응시자 등록, 2) 학습, 3) QR 코드 발급, 4) QR 코드 및 얼굴 인식, 5) 감독관 확인(응사자 얼굴/응시자 정보), 6) 시험응시 - 프로세스를 보인 그림이다. Figure 4 shows the process of the test taker's department from candidate registration, 1) candidate registration, 2) learning, 3) QR code issuance, 4) QR code and face recognition, 5) supervisor confirmation (candidate's face/candidate information), 6) test Gaze - This is a picture showing the process.

도 5는 등록된 응시자 얼굴 기계학습 및 학습 결과를 바탕으로 응시자-얼굴 매칭 코드 발급부 - UBT 시험시에 응시자 등록/학습/QR 코드 발급 화면이다.Figure 5 is a screen of the candidate-face matching code issuance unit - candidate registration/learning/QR code issuance during the UBT test based on the machine learning and learning results of the registered candidate's face.

UBT 시험시에 응시자 등록/학습/QR 코드 발급 화면이다. This is the candidate registration/study/QR code issuance screen during the UBT test.

도 6은 시험 응시자 얼굴의 AI 기반 안면윤곽선 인식을 통해 유사도(similarity)를 측정한 UBT 시스템에서 응시자 확인부 화면이다. Figure 6 is a screen of the test taker confirmation section in the UBT system that measures similarity through AI-based facial outline recognition of the test taker's face.

도 7은 응시자 판정시 규칙 사용자 정의부, 프로그램 테스트 화면이다. Figure 7 shows the rule user definition section and program test screen when judging applicants.

도 8은 UBT 시험 시에 시험 서버 접속/로그인/왼쪽- QR 코드 인식/QR 코드 인식 시에 인사말 들림(TTS)/오른쪽-얼굴 인식(스마트폰/태블릿PC 전면 카메라)/배경에서 얼굴 영역 인식 시작/인식율 표시 과정을 포함하는 시연 화면 - 생성된 사용자 코드 활용 UBT 인증 프로세스 사용자 정의부 -이다. Figure 8 shows test server connection / login / left - QR code recognition / greeting heard when QR code is recognized (TTS) / right - face recognition (smartphone / tablet PC front camera) / starting face area recognition in the background during UBT test /This is a demonstration screen including the recognition rate display process - UBT authentication process customization section utilizing the generated user code.

(1) 응시자 단말은 인공지능 안면인식 모듈과 5점 척도 활용 부정행위 방지 모듈을 결합한 대리시험 방지 및 시험중 부정행위 방지 방법이 탑재됨(1) The test taker's terminal is equipped with a method to prevent proxy testing and prevent cheating during the test by combining an artificial intelligence facial recognition module and a cheating prevention module using a 5-point scale.

응시자 등록 사진을 학습한 인공지능이 사용자별 인식 코드(QR 코드)를 생성하고, 응시자는 해당 인식코드(QR 코드)가 부착된 응시표를 시험장 PC/태블릿 PC의 카메라에 비춘 후, 사용자를 인식한 AI가 해당 응시자 정보와 표준 크기의 정면 얼굴 사진으로 학습한 결과모델을 비교, 얼굴인식의 특징점들의 거리와 유사도(similarity)를 계산하며, 눈2/코/귀2의 특징점들의 거리가 일정 수치가 넘으면 본인으로 인식하고, 시험 화면으로 이동, 시험 응시함. 일정 수치 미달인 경우(완전 미달, 판정 보류)의 경우 감독관 기기에 정보를 전달하여 감독관의 개인 정보 확인을 거쳐 시험을 실시한다. 시험 중에는 안면인식 모듈 또는 안면윤곽선과 눈2/코/귀2 얼굴 특징점 5점 척도 인식 부정행위 방지 모듈의 인공지능이 프로그램이 백그라운드 또는 시험 화면 아래 다른 레이어 또는 시험 화면과 같으나 다른 좌표값 위치에 존재하며, 기기에 부착되거나 내장된 카메라를 활용하여 사용자를 시험종료시까지 인식하다가 이상 패턴이 인식되면, 사용자에게 주의를 주거나 지정된 패턴에 따라 액션을 일으켜 시험을 중단시키거나, 사용자에게 아무런 정보를 주지 않고, 기기에 해당 이상 현상과 정상응시 현황 정보를 이미지 또는 텍스트/수치로 저장하여 시험 종료 후, 시험 서버로 전송하여 대리시험 여부/부정행위 여부에 대하여 시험 감독관/시험 책임자의 결정을 지원한다. 응시자의 부정행위에 대하여 래당 응시자 단말로 사전 경고 메시지/알람을 주는 경우, 시험 감독관 또는 책임자에게 경고 메시지 또는 알람 형태로 제공되며, SMS 전송 등 다양한 방법으로 통지한다. Artificial intelligence that has learned the candidate's registered photo generates a recognition code (QR code) for each user, and the test taker scans the test ticket with the corresponding recognition code (QR code) attached to the camera of the test site PC/tablet PC, and then recognizes the user. AI calculates the distance and similarity of feature points for face recognition by comparing the applicant information with the result model learned from a standard-sized frontal face photo, and the distance between feature points of eyes 2/nose/ear 2 is a certain value. If you pass it, it will be recognized as you, and you will be moved to the test screen and take the test. In the case of falling short of a certain level (completely falling short, judgment withheld), the information is transmitted to the proctor's device and the test is conducted after the proctor's personal information is confirmed. During the test, the artificial intelligence of the facial recognition module or facial contour and eye2/nose/ear2 facial feature points on a 5-point scale recognition fraud prevention module exists in the background or in another layer below the test screen or at the same coordinate value location as the test screen. Using a camera attached or built into the device, the user is recognized until the end of the test. If an abnormal pattern is recognized, the test is stopped by warning the user or taking action according to the designated pattern, or without providing any information to the user. , the abnormal phenomenon and normal test status information are stored in the device as an image or text/numerical value and transmitted to the test server after the test is completed to support the test proctor/test director's decision on whether to conduct a proxy test or cheat. When a prior warning message/alarm is given to the test taker's terminal regarding the test taker's fraudulent behavior, it is provided to the test proctor or person in charge in the form of a warning message or alarm, and is notified through various methods such as sending SMS.

UBT 시험은, 부정행위, 대리시험 방지, 그리고 시험 감독관의 수를 줄일 수 있어 획기적으로 시험 비용을 낮추는 동시에 감독관이 없는 온라인 평가에서도 최소한의 시험 신뢰성을 보장할 수 있다.The UBT test can prevent cheating, proxy testing, and reduce the number of test proctors, dramatically lowering test costs and at the same time ensuring a minimum level of test reliability even in online evaluations without a proctor.

<시스템 구성><System configuration>

1) 온라인 활용시 : 사용자 프로그램 (스마트폰/태블릿 PC) > 유무선 통신망(WAN, LTE 4G/5G) 및 내부망(LAN, Wi-Fi) > 서버(시험정보/응시자정보)와 인식정보를 교환하여 필요한 정보를 확인하여, 맞으면 True/틀리면 False 반환되며, 반환된 값에 따라 지정된 액션을 사용자 프로그램이 실행된다. 해당 응시자의 인식정보와 결과는 UBT 시험 서버(100)를 통해 감독관 프로그램(스마트폰/태블릿PC)으로도 전송된다(프로그램으로 전송 또는 SNS/SMS/이메일로 전송).1) When using online: User program (smart phone/tablet PC) > Wired and wireless communication network (WAN, LTE 4G/5G) and internal network (LAN, Wi-Fi) > Exchange recognition information with server (exam information/candidate information) The necessary information is checked, and if correct, True is returned, if incorrect, False is returned, and the user program executes the specified action according to the returned value. The candidate's recognition information and results are also transmitted to the proctor program (smartphone/tablet PC) through the UBT test server (100) (sent to the program or via SNS/SMS/email).

2) 오프라인 활용시 : 사용자 프로그램 (스마트폰/태블릿 PC)에 인공지능 학습 모듈 탑재, 자체적으로 응시자 얼굴의 안면윤곽선 인식 후 최종 인식 결과만 시험 서버로 전달한다. 응시자 단말로부터 UBT 시험 서버(100)로 최종 인식 결과 전송시 해당 정보를 서버 프로그램(dashboard)에 표시하고, 감독관 또는 시험 관리자에게 해당 정보 프로그램으로 전송하거나 또는 SNS/SMS/이메일을 전송한다. 2) When used offline: The artificial intelligence learning module is installed in the user program (smartphone/tablet PC), the facial outline of the candidate's face is recognized on its own, and only the final recognition result is transmitted to the test server. When transmitting the final recognition result from the candidate's terminal to the UBT test server 100, the information is displayed on the server program (dashboard) and sent to the proctor or test administrator through the information program or via SNS/SMS/email.

<실제 개발중인 앱 프로토타입 일부 APK - 안드로이드용 첨부><Actual app prototype under development partial APK - attached for Android>

https://we.tl/t-wFdXexsors 파일 다운로드 암호: nsdevil https://we.tl/t-wFdXexsors File download password: nsdevil

안드로이드 스마트폰 또는 태블릿 PC에 앱(App)을 설치하여 위 기능 일부를 직접 확인 가능.You can check some of the above functions directly by installing the app on your Android smartphone or tablet PC.

<웹 버전 기능 주소><Web version function address>

1) 안면인식 모듈 : https://facere.nsdai.org  (id: nsdevil, passwd: nsdevil)  > QR 코드를 스마트폰으로 찍어 PC 카메라에 인식 화면에 대면 동작됨.1) Facial recognition module: https://facere.nsdai.org (id: nsdevil, passwd: nsdevil) > It works by taking a picture of the QR code with a smartphone and touching it to the recognition screen of the PC camera.

2) 얼굴윤곽선의 5점 척도 부정행위 방지 모듈- 안면윤곽선 인식 모듈 : https://headpos.ublrandd.com.np (id: nsdevil, passwd: nsdevil)2) Facial contour 5-point scale fraud prevention module - Facial contour recognition module: https://headpos.ublrandd.com.np (id: nsdevil, passwd: nsdevil)

인공지능 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2의 얼굴의 특징점 5점 척도 부정행위 방지 모듈이 탑재되는 태블릿 PC, 스마트폰 기반의 UBT 시험에서, 대리 시험이나 부정행위를 방지하도록 AI 기반 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 응시자 단말에서 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 추적하여 얼굴의 행동 패턴을 검출하며, 얼굴 인식 시에 안면윤곽선 인식이 안되는 경우, 태블릿 PC의 카메라 영상이 촬영되는 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 수치를 넘는 경우), 해당 응시자 단말로 경고 메시지 또는 알람을 출력하거나 또는 시험지 작성 답안을 해당 응시자 단말의 정보 기기에 저장후 시험 종료 시 이를 UBT 시험 서버로 전송하고, 응시자들로 채점 결과를 제공하며, UBT 시험에서 대리 시험이나 부정 행위를 방지한다. In UBT tests based on tablet PCs and smartphones, which are equipped with an artificial intelligence facial recognition module and a 5-point scale for face contour and facial feature points of eyes 2/nose/ears 2 and an anti-cheating module, to prevent proxy testing or cheating. Using AI-based facial outline recognition technology (posenet algorithm), the test taker's terminal recognizes the outline of the test taker's face and the eye2/nose/ear2 feature points, and determines whether the eye/nose 3 points are close to the ear 2 points at either end. It detects and tracks the movement of the head to the right/left to detect facial behavior patterns. If the facial outline is not recognized during face recognition, or if the tablet PC's camera image deviates from the test screen where it is captured (eyes/nose 3 points are positive) (depending on whether the eye-to-ear distance or nose-to-ear distance in the corresponding direction exceeds a certain value depending on whether it is approaching the end ear 2 point), a warning message or alarm is output to the test taker's terminal, or an answer key written on the test paper is sent to the test taker's terminal. It is stored in the information device and transmitted to the UBT test server at the end of the test, provides scoring results to test takers, and prevents proxy testing or cheating in the UBT test.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드 뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.Embodiments according to the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, and data structures alone or in combination. Computer-readable recording media include storage, magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Hardware devices configured to store and execute program instructions in storage media such as magneto-optical media, ROM, RAM, flash memory, etc. may be included. Examples of program instructions may include those produced by a compiler, machine language code, as well as high-level language code that can be executed by a computer using an interpreter. The hardware device may be configured to operate as one or more software modules to perform the operations of the present invention.

이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다. As described above, the method of the present invention is implemented as a program and can be stored on a recording medium (CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, storage device, etc.) in a form that can be read using computer software. ) can be stored in .

본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있으며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.Although the present invention has been described with reference to specific embodiments of the present invention, the present invention is not limited to the same configuration and operation as the specific embodiments to illustrate the technical idea as described above, and is not limited to the technical idea and scope of the present invention. It can be implemented with various modifications, and the scope of the present invention should be determined by the claims described later.

100: UBT 시험 서버
101: WWW 서버 102: 제어부
103: 회원 등록부 104: 사용자 인증부
105: 시험 공지부 106: QR 코드 관리부
107: 인사말 제공부(TTS) 108: 감독관 확인부
109: 얼굴 인식부 110: 부정행위 처리부
111: 시험 관리부 120: 시험 정보DB
121: 응시자DB 123: 얼굴사진 DB
200: 감독관 단말 300,310,311: 응시자 단말
100: UBT test server
101: WWW server 102: Control unit
103: Member register 104: User authentication book
105: Test notice department 106: QR code management department
107: Greeting Provider (TTS) 108: Supervisor Verification Department
109: Face recognition unit 110: Fraud processing unit
111: Test management department 120: Test information DB
121: Candidate DB 123: Face photo DB
200: Supervisor terminal 300,310,311: Candidate terminal

Claims (9)

시험 응시자 정보와 정면 얼굴 사진을 등록받고 응시자의 응시표에 부착되는 QR 코드를 발급하며, UBT 시험을 실시하기 위한 시험 프로그램을 제공하는 UBT 시험 서버;
상기 UBT 시험 서버에 유무선 통신망을 통해 연결되며, 안면인식 모듈과 얼굴의 윤곽선과 눈2/코/귀2의 얼굴 특징점 5점 척도 부정행위 방지 모듈을 구비하며, UBT 시험시에 응시자 단말의 전면 카메라로 실시간으로 촬영된 얼굴 영상의 ROI를 검출하여 크기 보정/회전/각도 보정된 표준 크기의 정면 얼굴 사진에 대하여 특징 추출과 분류를 통해 얼굴의 특징점들의 유클리디안 거리(d)와 유사도(similarity)를 계산하고, 상기 UBT 시험 서버의 얼굴사진 DB의 데이터와 비교하여 대리 시험 여부를 확인하며, UBT 시험시에 전면 얼굴이 좌우로 돌아간 각도에 따라 부정행위를 판단하여 상기 UBT 시험 서버로 전송하고, 부정행위 검출 시에 경고 메시지 또는 알람을 발생하는 응시자 단말; 및
UBT 시험 시에, 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 벗어난 경우 - 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우-, 응시자 단말의 얼굴 사진과 부정행위 정보를 상기 UBT 시험 서버를 통해 수신받고, 상기 UBT 시험 서버를 통해 해당 응시자 단말로 부정행위 방지 알람 또는 경고 메시지를 전송하는 감독관 단말을 포함하며,
상기 안면인식 모듈에 사용된 상기 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,
상기 UBT 시험 서버는 응시자의 응시표에 부착된 QR 코드 인식 후, TTS 변환 기술을 통해 인사말을 제공하는 인사말 제공부(TTS)를 더 포함하며,
상기 UBT 시험 서버에 연동된 응시자 단말에 설치된 시험 프로그램(App)의 시험지 문항은 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 디스플레이 되는, 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 시스템.
A UBT test server that registers the test taker's information and frontal face photo, issues a QR code attached to the test taker's application form, and provides a test program for conducting the UBT test;
It is connected to the UBT test server through a wired or wireless communication network, and is equipped with a facial recognition module and a cheat prevention module with a 5-point scale for facial outline and facial feature points of eyes 2, nose, and ears 2, and the front camera of the candidate's terminal during the UBT test. By detecting the ROI of face images captured in real time, the Euclidean distance (d) and similarity (similarity) of facial feature points are extracted and classified for standard-size frontal face photos that have been size-corrected/rotated/angle-corrected. Calculate and compare with the data in the face photo DB of the UBT test server to check whether the test is a proxy test, and determine cheating according to the angle at which the front face is turned left and right during the UBT test and transmit it to the UBT test server, Candidate terminal that generates a warning message or alarm when cheating is detected; and
During the UBT test, if the facial outline is not recognized or the test screen is off - Depending on whether the 3 points of the eyes/nose are close to the 2 points of the ears at either end, the distance in the corresponding direction of the distance between the eyes and ears and the distance between the nose and ears are set to a certain standard value. If it exceeds -, it includes a proctor terminal that receives the face photo and cheating information of the candidate's terminal through the UBT test server, and transmits an anti-cheating alarm or warning message to the candidate's terminal through the UBT test server,
The facial contour recognition technology used in the facial recognition module uses the posenet algorithm,
The UBT test server further includes a greeting service (TTS) that provides a greeting through TTS conversion technology after recognizing the QR code attached to the test taker's test ticket,
The test paper questions of the test program (App) installed on the candidate's terminal linked to the UBT test server are displayed as multimedia test questions containing not only text and images, but also text, images, VR/AR content, voice, and video for each question. UBT system using facial contour recognition artificial intelligence to prevent cheating.
제1항에 있어서,
상기 응시자 단말은 시험 프로그램(App)이 설치되는 태블릿 PC 또는 스마트폰 중 어느 하나의 단말을 사용하며, 시험 프로그램이 설치되고, 상기 인공지능 안면인식 모듈과 상기 눈2/코/귀2의 얼굴 특징점 5점 척도 부정행위 방지 모듈을 구비하는, 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 시스템.
According to paragraph 1,
The candidate terminal uses either a tablet PC or a smartphone on which a test program (App) is installed, the test program is installed, and the artificial intelligence facial recognition module and the facial feature points of the eyes 2/nose/ears 2 A UBT system using facial contour recognition artificial intelligence to prevent cheating, equipped with a 5-point scale cheat prevention module.
제2항에 있어서,
상기 응시자 단말은 상기 안면인식 모듈과 상기 부정행위 방지 모듈을 구비하며, 상기 부정행위 방지 모듈은 실시간으로 상기 응시자 단말의 카메라 비전 영상 데이터의 시각적인 부정행위 검출 모듈과 청각적인 부정행위를 검출하는 음성 인식 모듈을 구비하며,
상기 음성 인식 모듈은 상기 응시자 단말에 응시자의 부정행위를 방지하기 위해 응시자의 말소리를 인식하며, UBT 시험 시에 부정행위와 관련된 응시자의 말소리가 들리는 경우, 상기 응시자 단말의 마이크를 통해 입력된 응시자의 음성 데이터를 즉시 상기 UBT 시험 서버로 전송하여 저장하고, 이를 상기 감독관 단말로 전송하며, 해당 응시자 단말이 부정행위를 방지하도록 상기 UBT 시험 서버를 통해 해당 응시자 단말로 알람을 발생하거나 경고 메시지를 전송하는, 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 시스템.
According to paragraph 2,
The candidate terminal is equipped with the facial recognition module and the cheating prevention module, and the cheating prevention module includes a visual cheating detection module of camera vision image data of the candidate terminal in real time and a voice that detects audible cheating. Equipped with a recognition module,
The voice recognition module recognizes the candidate's speech sound in order to prevent the candidate from cheating on the candidate terminal, and when the candidate's speech related to cheating is heard during the UBT test, the voice recognition module inputs the candidate's voice through the microphone of the candidate terminal. Immediately transmit and store voice data to the UBT test server, transmit it to the proctor terminal, and generate an alarm or send a warning message to the candidate's terminal through the UBT test server to prevent the candidate's terminal from cheating. , UBT system using facial contour recognition artificial intelligence to prevent fraud.
제1항에 있어서,
상기 응시자 단말은 상기 안면인식 모듈과 상기 부정행위 방지 모듈에 의해 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고, 부정행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정행위를 방지하도록 경고 메시지 또는 알람이 출력되는, 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 시스템.
According to paragraph 1,
The candidate terminal uses facial outline recognition technology (posenet algorithm) for camera images by the facial recognition module and the anti-cheating module to move to the right/left depending on whether the 3 points of the eyes/nose are close to the 2 points of the ears at both ends. Detects head movement, detects abnormal facial behavior patterns related to cheating, and detects when facial outlines are not recognized during face recognition or when the 3 points of the eye/nose are off the test screen (whether the 3 points of the eyes/nose are close to the 2 points of the ears at either end) A UBT system using facial contour recognition artificial intelligence to prevent cheating, in which a warning message or alarm is output if the distance in the corresponding direction (eye-to-ear distance or nose-to-ear distance exceeds a certain standard).
제1항에 있어서,
상기 UBT 시험 서버는
상기 응시자 단말과 상기 감독관 단말과 유무선 통신을 통해 연결되는 WWW 서버;
유무선 통신망을 통해 상기 응시자 단말과 상기 감독관 단말로 유비쿼터스 기반 학습(UBL)과 시험(UBT)을 제공하도록 제어하는 제어부;
상기 제어부에 연결되며, 응시자의 회원 정보를 등록받아 ID/Passwd를 저장하여 관리하는 회원 등록부;
상기 제어부에 연결되며, QR 코드/Passwd 또는 ID/Passwd를 사용하여 사용자를 인증하는 사용자 인증부;
상기 제어부에 연결되며, 태블릿 PC 또는 스마트폰 기반 유비쿼터스 기반 학습(UBL)과 시험(UBT) 일정과 장소를 제공하는 시험 공지부;
상기 제어부에 연결되며, 시험 응시자들에게 응시자 정보에 대응하는 응시자의 응시표에 부착되는 QR 코드를 발급하고, 이를 관리하는 QR 코드 관리부;
상기 제어부에 연결되며, 상기 응시자 단말로부터 카메라의 응시자의 얼굴 사진을 수신받아 크기 보정/회전/각도 보정된 표준 크기의 정면 얼굴 사진을 생성하고 이를 상기 UBT 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 응시자의 얼굴 사진을 비교하여 상기 감독관 단말에서 감독관이 확인하여 대리 시험 여부를 체크하고 시험 응시 자격을 확인하는 감독관 확인부;
상기 제어부에 연결되며, 상기 응시자 단말에서 안면인식 모듈을 사용하여 시험 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 상기 응시자 단말로부터 얼굴 인식 결과를 수신받는 얼굴 인식부;
상기 응시자 단말에서 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈/코와 귀의 거리를 측정하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고 부정행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정행위를 방지하도록 해당 응시자 단말로 경고 메시지 또는 알람이 출력되고, 해당 응시자 단말로부터 경고 메시지 또는 알람을 수신하는 부정행위 처리부;
상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 시험지를 제공하며, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 관리하며, UBT 시험시에 일정 시험 시간 이내에 각각의 응시자 단말에 시험지 작성 답안을 저장후 시험 종료시 이를 상기 UBT 시험 서버로 전송되며, 응시자들의 시험지 작성 답안, 채점 결과, 감독관 정보와 응시자 현황 정보를 저장하여 관리하는 시험 관리부; 및
상기 응시자 단말들의 시험지와 작성 답안, 채점 결과를 저장하는 시험 정보DB; 응시자 정보와 표준 크기의 정면 얼굴 사진을 저장하는 응시자DB와 얼굴 DB;
를 포함하는 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 시스템.
According to paragraph 1,
The UBT test server is
A WWW server connected to the candidate terminal and the supervisor terminal through wired or wireless communication;
A control unit that controls to provide ubiquitous based learning (UBL) and testing (UBT) to the candidate terminal and the proctor terminal through a wired or wireless communication network;
A member registration unit connected to the control unit and registering the applicant's membership information and storing and managing the ID/Passwd;
A user authentication unit connected to the control unit and authenticating the user using a QR code/Passwd or ID/Passwd;
A test notification unit connected to the control unit and providing tablet PC or smartphone-based ubiquitous based learning (UBL) and test (UBT) schedules and locations;
A QR code management unit connected to the control unit and issuing to test takers a QR code attached to the test taker's test ticket corresponding to the test taker information and managing the QR code;
It is connected to the control unit, receives the applicant's face photo from the camera from the applicant terminal, creates a standard size frontal face photo with size correction/rotation/angle correction, and combines it with the applicant information and standards previously stored in the database of the UBT test server. A proctor confirmation unit that compares the size of the applicant's face photo and allows the proctor to check whether the examinee is taking the test on a proxy basis and confirm his or her qualifications for taking the test at the proctor terminal;
A face recognition unit connected to the control unit, recognizes the outline of the test taker's face and eye2/nose/ear2 feature points using a facial recognition module in the test taker terminal, and receives a face recognition result from the test taker terminal;
The candidate's terminal measures the distance between the eyes/nose and ears using facial contour recognition technology (posenet algorithm) for the camera image, and moves the head to the right/left depending on whether the 3 points of the eyes/nose are close to the 2 points of the ears at either end. Detects abnormal facial behavior patterns related to cheating, and detects cases where the facial outline is not recognized during face recognition or when it deviates from the test screen (eyes and ears are checked depending on whether the 3 points of the eyes/nose are close to the 2 points of the ears at either end) (if the distance in the relevant direction (distance between nose and ear) exceeds a certain standard value), a warning message or alarm is output to the test taker's terminal to prevent cheating, and a cheating processing unit that receives a warning message or alarm from the test taker's terminal;
A test program (App) and test papers are provided to the candidate's terminal and the proctor's terminal, and the candidate's information, on-site facial photos, and proctor's information are managed, and the test sheet is written to each candidate's terminal within a certain test time during the UBT test. A test management unit that saves the answers and transmits them to the UBT test server at the end of the test, and stores and manages the test takers' test answers, scoring results, supervisor information, and test taker status information; and
a test information DB that stores the test papers, written answers, and scoring results of the test taker terminals; Candidate DB and face DB that store candidate information and standard-sized frontal face photos;
UBT system using facial contour recognition artificial intelligence to prevent fraud, including.
UBT 시험 서버가 사용자 단말로부터 회원 정보를 등록받고, 로그인/사용자 인증 후에, 응시자 정보와 정면 얼굴 사진을 등록받아 저장하는 단계;
상기 UBT 시험 서버가 응시자 정보와 정면 얼굴 사진에 대응하는 응시자의 응시표에 부착되는 QR 코드를 발급하는 단계;
상기 UBT 시험 서버가 주관 시험에 따라 시험 일정과 장소를 공지하는 단계;
상기 응시자의 응시표에 부착되는 QR 코드를 스마트폰으로 찍어 응시자 단말의 카메라에 인식 화면에 대면 동작되며, 상기 QR 코드 인식 후, TTS(Text To Speech) 기능을 통해 인사말을 제공하는 단계;
AI 기반 안면윤곽선 인식 기술을 사용하는 안면인식 모듈을 구비하는 응시자 단말에서 카메라의 전면 사진의 얼굴 인식 결과를 상기 UBT 시험 서버로 수신받아 크기 보정/회전/각도 보정된 표준 크기의 정면 얼굴 사진을 생성하고, 이를 감독관 단말이 상기 UBT 시험 서버의 데이터베이스에 기 저장된 응시자 정보와 표준 크기의 정면 얼굴 사진을 비교하여 응시자 본인 여부를 확인하여 대리 시험을 방지하며 시험 응시 여부를 결정하는 단계;
상기 UBT 시험 서버에 연동된 응시자 단말에 설치된 시험 프로그램(App)의 시험지 문항은 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 디스플레이되는 단계;
상기 응시자 단말의 안면인식 모듈과 눈2/코/귀2의 얼굴 특징점 5점 척도 부정행위 방지 모듈에 의해 응시자의 얼굴의 윤곽선과 눈2/코/귀2 특징점들을 인식하고, 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하여 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 상기 응시자 단말의 시험 화면으로부터 벗어난 경우-눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우- 부정행위와 관련된 얼굴 사진 또는 응시자의 음성 데이터를 상기 UBT 시험 서버로 전송하고, 상기 감독관 단말로 출력되며, 상기 UBT 시험 서버로부터 해당 응시자 단말로 경고 메시지 또는 알람을 전송하는 단계; 및
상기 응시자 단말과 상기 감독관 단말로 시험 프로그램(App)과 온라인 시험지를 제공하고, 응시자 정보들과 응시자의 현장 얼굴 사진, 감독관 정보를 상기 UBT 시험 서버의 데이터베이스에 저장하여 관리하며, UBT 시험 시에, 일정 시험 시간 동안 각각의 응시자 단말에 시험지 작성 답안을 저장 후, 시험 종료시 이를 각각의 응시자 단말로부터 상기 UBT 시험 서버로 전송받아 저장하며, 응시자들의 시험지 작성 답안의 채점 결과를 응시자 단말로 제공하는 단계를 포함하며,
상기 안면인식 모듈에 사용된 상기 안면윤곽선 인식 기술은 posenet 알고리즘을 사용하고,
상기 UBT 시험 서버는 상기 응시자의 응시표에 부착된 QR 코드 인식 후, TTS 변환 기술을 통해 인사말을 제공하는 인사말 제공부(TTS)를 더 포함하며,
상기 UBT 시험 서버에 연동된 응시자 단말에 설치된 시험 프로그램(App)의 시험지 문항은 각 문항마다 텍스트 및 이미지 뿐만 아니라 텍스트, 이미지, VR/AR 콘텐츠, 음성과 동영상이 포함된 멀티미디어 시험 문항이 출제되어 디스플레이되는, 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 제공 방법.
Steps where the UBT test server registers member information from the user terminal, and after login/user authentication, registers and stores the candidate information and frontal face photo;
The UBT test server issuing a QR code attached to the test taker's test ticket corresponding to the test taker information and frontal face photo;
The UBT test server notifies the test schedule and location according to the administered test;
Taking the QR code attached to the test taker's test ticket with a smartphone and touching it to the recognition screen on the camera of the test taker's terminal; After recognizing the QR code, providing a greeting through a TTS (Text To Speech) function;
The facial recognition results of the front photo from the camera are received from the candidate terminal equipped with a facial recognition module using AI-based facial contour recognition technology to the UBT test server, and a standard size frontal face photo with size/rotation/angle correction is generated. and the proctor terminal compares the candidate information previously stored in the database of the UBT test server with a standard-sized frontal face photo to confirm the candidate's identity, prevents proxy testing, and determines whether to take the test;
The test paper questions of the test program (App) installed on the candidate's terminal linked to the UBT test server are displayed as multimedia test questions containing not only text and images, but also text, images, VR/AR content, voice, and video for each question. stage of becoming;
The facial recognition module of the candidate terminal and the 5-point facial feature points of eyes 2/nose/ear 2 and the anti-cheating module recognize the outline of the candidate's face and the feature points of eyes 2/nose/ear 2, and the 3 points of eyes/nose are recognized. Abnormal facial behavior patterns are detected by detecting head movement to the right/left depending on whether the two ends of the ears are close to each other. If the facial outline is not recognized when recognizing the face, or if it deviates from the test screen of the candidate's terminal - eyes / Depending on whether the 3 points of the nose are close to the 2 points of the ears at either end, if the distance between the eyes and ears or the distance in the corresponding direction of the distance between the nose and ears exceeds a certain standard - a photo of the face or the candidate's voice data related to cheating is provided in the above UBT test transmitting to a server, outputting to the proctor terminal, and transmitting a warning message or alarm from the UBT test server to the corresponding candidate terminal; and
A test program (App) and an online test paper are provided to the candidate terminal and the proctor terminal, and the candidate information, the candidate's on-site face photo, and the proctor information are stored and managed in the database of the UBT test server, and during the UBT test, A step of storing the answers written on the test paper on each test taker's terminal for a certain test time, then transmitting and storing them to the UBT test server from each test taker terminal at the end of the test, and providing the scoring results of the answers written on the test taker's test paper to the test taker's terminal. Includes,
The facial contour recognition technology used in the facial recognition module uses the posenet algorithm,
The UBT test server further includes a greeting service (TTS) that provides a greeting through TTS conversion technology after recognizing the QR code attached to the test taker's test ticket,
The test paper questions of the test program (App) installed on the test taker's terminal linked to the UBT test server display not only text and images for each question, but also multimedia test questions that include text, images, VR/AR content, voice, and video. A method of providing UBT using facial contour recognition artificial intelligence to prevent fraud.
제6항에 있어서,
상기 응시자 단말은 시험 프로그램(App)이 설치되는 태블릿 PC, 스마트폰 중 어느 하나의 단말을 사용하며, 상기 시험 프로그램이 설치되고, 상기 안면인식 모듈과 상기 눈2/코/귀2의 얼굴 특징점 5점 척도 부정행위 방지 모듈을 구비하는, 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 제공 방법.
According to clause 6,
The candidate terminal uses either a tablet PC or a smartphone, on which the test program (App) is installed, and the test program is installed, the facial recognition module and the facial feature points 5 of the eyes 2/nose/ear 2 A method of providing UBT using facial contour recognition artificial intelligence to prevent fraud, including a point-scale fraud prevention module.
제7항에 있어서,
상기 응시자 단말은 안면인식 모듈과 부정행위 방지 모듈에 의해 카메라 영상에 대하여 안면윤곽선 인식 기술(posenet 알고리즘)을 사용하여 눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 오른쪽/왼쪽으로 머리 이동을 감지하고, 부정행위와 관련된 얼굴의 이상행동 패턴을 검출하며, 얼굴 인식시에 안면윤곽선 인식이 안되는 경우, 시험 화면으로부터 벗어난 경우(눈/코 3점이 양 끝 귀 2점에 가까워지는 지에 따라 눈과 귀의 거리, 코와 귀의 거리의 해당 방향의 거리가 일정 기준치를 넘는 경우) 부정행위를 방지하도록 경고 메시지 또는 알람이 출력되는, 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 제공 방법.
In clause 7,
The candidate terminal uses facial outline recognition technology (posenet algorithm) for camera images through a facial recognition module and an anti-cheating module to move the head to the right/left depending on whether the 3 points of the eyes/nose are close to the 2 points of the ears at either end. Detects abnormal behavior patterns on the face related to cheating, and detects facial contours that are not recognized during face recognition or when the face deviates from the test screen (eyes/nose 3 points are close to the 2 ears at both ends) A method of providing UBT using facial contour recognition artificial intelligence to prevent cheating, in which a warning message or alarm is output to prevent cheating (if the distance in the corresponding direction (distance between ears and nose, or distance between nose and ears) exceeds a certain standard value).
제7항에 있어서,
상기 응시자 단말은 상기 안면인식 모듈과 상기 눈2/코/귀2 얼굴의 특징점 5점 척도 부정행위 방지 모듈을 구비하며, 상기 부정행위 방지 모듈은 실시간으로 상기 응시자 단말의 카메라 비전 영상 데이터의 시각적인 부정행위 검출 모듈과 청각적인 부정행위를 검출하는 음성 인식 모듈을 구비하며,
상기 음성 인식 모듈은 상기 응시자 단말에 응시자의 부정행위를 방지하기 위해 응시자의 말소리를 인식하며, UBT 시험 시에 부정행위와 관련된 응시자의 말소리가 들리는 경우, 상기 응시자 단말의 마이크를 통해 입력된 응시자의 음성 데이터를 즉시 상기 UBT 시험 서버로 전송하여 저장하고, 이를 상기 감독관 단말로 전송하며, 해당 응시자 단말이 부정행위를 방지하도록 상기 UBT 시험 서버를 통해 해당 응시자 단말로 알람을 발생하거나 경고 메시지를 전송하는 단계를 더 포함하는 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 UBT 제공 방법.
In clause 7,
The candidate terminal is equipped with the facial recognition module and a cheating prevention module with a 5-point scale for facial feature points of the eyes2/nose/ear2, and the cheating prevention module provides visual recognition of the camera vision image data of the candidate terminal in real time. Equipped with a fraud detection module and a voice recognition module that detects auditory fraud,
The voice recognition module recognizes the candidate's speech sound in order to prevent the candidate from cheating on the candidate terminal, and when the candidate's speech related to cheating is heard during the UBT test, the voice recognition module inputs the candidate's voice through the microphone of the candidate terminal. Immediately transmit and store voice data to the UBT test server, transmit it to the proctor terminal, and generate an alarm or send a warning message to the candidate's terminal through the UBT test server to prevent the candidate's terminal from cheating. A method of providing UBT using facial contour recognition artificial intelligence to prevent fraud, including additional steps.
KR1020220139316A 2020-05-26 2022-10-26 UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof KR102581415B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220139316A KR102581415B1 (en) 2020-05-26 2022-10-26 UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200063334A KR20210146185A (en) 2020-05-26 2020-05-26 UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof
KR1020220139316A KR102581415B1 (en) 2020-05-26 2022-10-26 UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200063334A Division KR20210146185A (en) 2020-05-26 2020-05-26 UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof

Publications (2)

Publication Number Publication Date
KR20230007249A KR20230007249A (en) 2023-01-12
KR102581415B1 true KR102581415B1 (en) 2023-09-22

Family

ID=78866618

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200063334A KR20210146185A (en) 2020-05-26 2020-05-26 UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof
KR1020220139316A KR102581415B1 (en) 2020-05-26 2022-10-26 UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200063334A KR20210146185A (en) 2020-05-26 2020-05-26 UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof

Country Status (1)

Country Link
KR (2) KR20210146185A (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386121B (en) * 2023-05-30 2023-08-11 湖北华中电力科技开发有限责任公司 Personnel identification method and device based on power grid safety production

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020032010A (en) * 2000-10-25 2002-05-03 이재찬 A user certifying system using a certification key and the certifying method
KR20120090492A (en) * 2011-02-08 2012-08-17 이언주 Management system and method for official approval test based on smart phone
KR20170031369A (en) * 2015-09-11 2017-03-21 삼성전자주식회사 server for cheating detection and detection method thereof
KR20170050465A (en) 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 Method and Apparatus for Recognizing Face
KR101765770B1 (en) 2016-02-29 2017-08-07 손부경 Cheating detection system of online test using image processing and method thereof and recording medium storing program for executing the same
KR20180050968A (en) * 2016-11-07 2018-05-16 주식회사 조인트리 on-line test management method

Also Published As

Publication number Publication date
KR20210146185A (en) 2021-12-03
KR20230007249A (en) 2023-01-12

Similar Documents

Publication Publication Date Title
KR102593624B1 (en) Online Test System using face contour recognition AI to prevent the cheating behaviour and method thereof
CN109359548B (en) Multi-face recognition monitoring method and device, electronic equipment and storage medium
CN108765131B (en) Micro-expression-based credit auditing method, device, terminal and readable storage medium
CN108470169A (en) Face identification system and method
CN106850648B (en) Identity verification method, client and service platform
CN108717663B (en) Facial tag fraud judging method, device, equipment and medium based on micro expression
US20150379253A1 (en) User Identity Authentication Techniques for On-Line Content or Access
WO2016172872A1 (en) Method and device for verifying real human face, and computer program product
CN109858375B (en) Living body face detection method, terminal and computer readable storage medium
KR20240040683A (en) Cathexis learning system and method using AI in an untact learning based on Web browser
CN208351494U (en) Face identification system
CN110532965A (en) Age recognition methods, storage medium and electronic equipment
CN111353363A (en) Teaching effect detection method and device and electronic equipment
KR102581415B1 (en) UBT system using face contour recognition AI to prevent the cheating behaviour and method thereof
KR102615709B1 (en) Online Test System using face contour recognition AI to prevent the cheating behavior by using a front camera of examinee terminal installed audible video recording program and an auxiliary camera and method thereof
KR20230169880A (en) Cathexis learning system and method using AI in an untact learning based on Web browser
KR20230110681A (en) Online Test System using face contour recognition AI to prevent the cheating behaviour by using a front camera of examinee terminal and an auxiliary camera and method thereof
RU2316051C2 (en) Method and system for automatically checking presence of a living human face in biometric safety systems
KR20230013236A (en) Online Test System using face contour recognition AI to prevent the cheating behaviour by using speech recognition and method thereof
KR20230007250A (en) UBT system using face contour recognition AI and method thereof
WO2022222957A1 (en) Method and system for identifying target
WO2015179428A1 (en) User identity authentication techniques for on-line content or access
KR20230017454A (en) Method, Device and Computer Program For Preventing Cheating In Non-face-to-face Evaluation
Zolotarev et al. Liveness detection methods implementation to face identification reinforcement in gaming services
JP2016095817A (en) Automatic examination system and examination fraudulent deed detection equipment employed in it

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant