KR102412754B1

KR102412754B1 - 시선추적을 이용한 시험 부정방지 방법, 장치 및 시스템

Info

Publication number: KR102412754B1
Application number: KR1020210119038A
Authority: KR
Inventors: 김창화
Original assignee: 주식회사 라씨엔블루
Priority date: 2021-06-23
Filing date: 2021-09-07
Publication date: 2022-06-24

Abstract

일 실시예에 따르면, 데이터베이스를 포함하는 장치에 의해 수행되는, 시선추적을 이용한 시험 부정방지 방법에 있어서, 촬영 장치를 포함하는 사용자 단말에서 사용자가 본인인증을 등록하는 단계; 사용자가 시험을 응시할 때, 사용자의 얼굴을 스캔하여, 사용자의 얼굴의 3차원 특징점으로 변환시키고, 사용자가 시험을 응시할 때의 3차원 특징점과 사용자의 등록된 3차원 특징점을 비교함으로써, 사용자가 시험을 응시할 때의 3차원 특징점과 사용자의 등록된 3차원 특징점의 유사도의 값이 임계값 이상인 경우, 사용자가 본인인증을 응시자로서 수행하는 단계; 사용자의 본인인증이 완료된 경우, 사용자에 의해 시험 시작 메뉴가 선택되면, 온라인 상으로 제공되는 시험 콘텐츠가 사용자 단말의 화면에 표시되도록 제어하는 단계; 사용자 단말에 장착된 촬영 장치를 통해 획득된 사용자의 얼굴 영상에서 사용자의 좌측 및 우측 눈 영역을 촬영하는 단계; 촬영된 눈 영역 각각에서 눈동자들의 위치를 확인하는 단계; 눈 영역 각각의 크기 및 눈동자들의 크기를 기초하여, 사용자와 사용자 단말 간의 이격 거리를 산출하는 단계; 눈 영역 각각의 동공의 응시각을 산출하는 단계; 눈동자들의 위치 및 이격 거리에 기초하여, 사용자의 시선이 화면 내에 위치하는지 여부를 확인하는 단계; 사용자의 시선이 화면 내에 위치하고 있는 상태에서, 사용자의 시선이 고정되어 이동하지 않는 눈동자 체류 시간이 미리 설정된 기준 시간보다 큰 것으로 확인되면, 사용자의 시선이 화면 내에서 어느 지점을 주시하고 있는 것으로 결정하는 단계; 눈동자들의 위치, 이격 거리 및 동공의 응시각에 기초하여, 사용자의 시선이 화면 내에서 제1 지점을 주시하고 있는 것으로 결정하는 단계; 시험 콘텐츠가 표시되는 제1 영역에 제1 지점이 위치하는지 여부를 확인하는 단계; 사용자의 시선이 제1 영역에 제1 지점으로부터 미리 결정된 시간 동안 일정 회수를 벗어난다고 결정되면, 사용자가 부정행위를 하고 있는 것으로 결정하는 단계; 사용자가 부정행위를 하고 있는 것으로 결정하는 것에 응답하여, 사용자 및 시험을 감독하는 감독자에게 경고를 위한 알림을 진행하는 단계; 및 사용자가 부정행위를 하고 있는 것으로 결정하는 경우, 사용자의 시선에 관한 패턴을 데이터베이스에 저장하고, 패턴을 부정행위의 행동습관을 결정하기 위한 머신러닝(machine learning) 모델에 입력하여 학습시키는 단계를 포함하는 시선추적을 이용한 시험 부정방지 방법이 제공된다.

Description

시선추적을 이용한 시험 부정방지 방법, 장치 및 시스템{METHOD, DEVICE AND SYSTEM USING EYE TRACKING FOR PREVENTING TEST FRAUD}

아래 실시예들은 시선추적을 이용한 시험의 부정을 방지하기 위한 기술에 관한 것이다.

최근 사회적으로 보건 안전 문제가 대두됨에 따라 일선 교육 현장에서 비대면 온라인 수업을 통해 정규 교육을 실시하고 있다. 이로 인하여, 기존 대면 교육으로부터 갑작스러운 전환으로 인하여 교사와 시험자들 모두 상당한 혼란을 겪고 있는 실정이다.

한편, 온라인 수업 관련 시스템의 구축이 신속하게 진행되어 수업 진행은 가능하게 되었으나, 온라인으로 시험을 진행하면서 부정시험이 만연하고 있다.

특히, 그룹으로 모여 함께 시험을 보거나 스마트폰 등을 이용한 메신저를 통해 시험 정답 등을 주고받으며 답안 공유, 대리시험 등 부정행위 방법이 다양해지고 있으며, 부정행위를 하지 않고 정상적으로 시험을 본 사람들의 피해가 속출하고 있다.

한편, 일선 교육현장뿐만 아니라, 기업 입사를 위한 인적성 필기시험 온라인으로 진행되고 있는데, 이러한 시험에서도 대리 시험, 컨닝 방지에 대한 필요성이 대두되고 있는 현실이다.

종래의 온라인 시험 부정방지 솔루션은 화상솔루션을 제공하여 대리시험을 방지하거나 온라인 시험 프로그램 외의 다른 프로그램 사용을 제한하는 솔루션을 제공하고 있으나, 시험을 보는 PC 외에 노트북이나 참고자료를 PC 주변에 비치하는 부정행위는 여전히 방지가 불가능하며 실시간 화상 솔루션 역시 카메라를 통해 감독자가 실시간으로 모니터하는 구조로 인하여 부정행위의 정확한 결정이 어려운 실정이다.

따라서, 온라인 시험 환경에서 부정행위 방지를 개선할 수 있는 방안이 요구된다. 특히, 이러한 기술은 온라인 시험에 대한 요구가 증대함에 따라, 리서치 분야, 광고 분야, 에듀테크 분야(독서 학습 분야), 헬스케어 분야(노약자 생활환경 분야), 심리학 분야 등에 폭넓게 요구되고 있다.

발명의 배경이 되는 기술을 기재하고 있는 선행기술문헌으로 한국 특허출원공개공보 제10-2018-0050968호(2018. 05. 16) 등이 있다.

상술한 바와 같이, 종래의 온라인 시험 부정방지 솔루션은 기본적으로 PC, 노트북, 스마트폰에 탑재되어 있는 RGB 카메라를 이용하고 있고, 카메라 사각지대에서 이루어지는 온라인 시험의 부정행위 색출의 어려움이 있으며, 이러한 기술적 문제를 해결하기 위한 방안이 요구된다.

또한, 현재는 글로벌 기업의 채용 과정에 있어서 비대면 시험을 진행했으나 얼굴과 손이 나오는 영상 그리고 감독관과의 1:1 통화만으로 한계점을 가지고 있는 실정이다.

본 발명은 온라인 시험을 진행하는 모든 과정을 결정하는 사용자의 시선을 추적함으로써 카메라 사각에서 벌어지는 부정행위들을 방지할 수 있는 시스템을 제시한다.

본 발명은 일일이 신분증 얼굴대조를 할 필요가 없이 실시간으로 응시자의 본인인증을 수행할 수 있다.

본 발명은 기업들 면접 및 비대면 테스트, 초등학교, 중학교, 고등학교, 대학교 비대면 테스트, 각종 경시 대회, 각종 학원들 비대면 수업 등에 활용될 수 있다.

본 발명은 사용자의 시선이 모니터를 벗어나거나 비정상적인 시선, 행동을 분석하여 이상 행위를 감지하여 부정행위를 방지하는 것이다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

일 실시예에 따르면, 데이터베이스를 포함하는 장치에 의해 수행되는, 시선추적을 이용한 시험 부정방지 방법에 있어서, 촬영 장치를 포함하는 사용자 단말에서 사용자가 본인인증을 등록하는 단계로서, 촬영 장치를 이용하여, 사용자의 얼굴을 복수의 각도에서 이미지로 스캔하는 단계 - 이미지는 폭이 최소 120 픽셀이고, 복수의 각도는 사용자의 얼굴 정면으로부터 좌우 30° 이내 및 상하 15° 이내임 -, 이미지를 데이터베이스에 등록하는 단계, 이미지로부터 사용자의 눈의 위치를 결정하는 단계, 이미지를 8비트의 컬러로 계조 변환시키는 단계, 복수의 각도로 스캔된 이미지에 기초하여, 계조 변환된 이미지에서 얼굴의 특징점을 추출하는 단계, 및 특징점에 기초하여, 사용자의 얼굴을 3차원 특징점으로 변환하는 단계를 포함하는, 본인인증을 등록하는 단계; 사용자가 시험을 응시할 때, 사용자의 얼굴을 스캔하여, 사용자의 얼굴의 3차원 특징점으로 변환시키고, 사용자가 시험을 응시할 때의 3차원 특징점과 사용자의 등록된 3차원 특징점을 비교함으로써, 사용자가 시험을 응시할 때의 3차원 특징점과 사용자의 등록된 3차원 특징점의 유사도의 값이 임계값 이상인 경우, 사용자가 본인인증을 응시자로서 수행하는 단계; 사용자의 본인인증이 완료된 경우, 사용자에 의해 시험 시작 메뉴가 선택되면, 온라인 상으로 제공되는 시험 콘텐츠가 사용자 단말의 화면에 표시되도록 제어하는 단계; 사용자 단말에 장착된 촬영 장치를 통해 획득된 사용자의 얼굴 영상에서 사용자의 좌측 및 우측 눈 영역을 촬영하는 단계; 촬영된 눈 영역 각각에서 눈동자들의 위치를 확인하는 단계; 눈 영역 각각의 크기 및 눈동자들의 크기를 기초하여, 사용자와 사용자 단말 간의 이격 거리를 산출하는 단계; 눈 영역 각각의 동공의 응시각을 산출하는 단계; 눈동자들의 위치 및 이격 거리에 기초하여, 사용자의 시선이 화면 내에 위치하는지 여부를 확인하는 단계; 사용자의 시선이 화면 내에 위치하고 있는 상태에서, 사용자의 시선이 고정되어 이동하지 않는 눈동자 체류 시간이 미리 설정된 기준 시간보다 큰 것으로 확인되면, 사용자의 시선이 화면 내에서 어느 지점을 주시하고 있는 것으로 결정하는 단계; 눈동자들의 위치, 이격 거리 및 동공의 응시각에 기초하여, 사용자의 시선이 화면 내에서 제1 지점을 주시하고 있는 것으로 결정하는 단계; 시험 콘텐츠가 표시되는 제1 영역에 제1 지점이 위치하는지 여부를 확인하는 단계; 사용자의 시선이 제1 영역에 제1 지점으로부터 미리 결정된 시간 동안 일정 회수를 벗어난다고 결정되면, 사용자가 부정행위를 하고 있는 것으로 결정하는 단계; 사용자가 부정행위를 하고 있는 것으로 결정하는 것에 응답하여, 사용자 및 시험을 감독하는 감독자에게 경고를 위한 알림을 진행하는 단계; 및 사용자가 부정행위를 하고 있는 것으로 결정하는 경우, 사용자의 시선에 관한 패턴을 데이터베이스에 저장하고, 패턴을 부정행위의 행동습관을 결정하기 위한 머신러닝(machine learning) 모델에 입력하여 학습시키는 단계를 포함하는 시선추적을 이용한 시험 부정방지 방법이 제공된다.

일 실시예에 따르면, 시험 부정방지 방법에서 제1 지점을 주시하고 있는 것으로 결정하는 단계는, 사용자의 얼굴 윤곽선을 추출하여 얼굴 각도 계산하는 단계; 및 얼굴 윤곽선의 플롯 포인트의 거리 계산을 통한 각도를 계산하는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 시험 부정방지 방법에서, 사용자가 부정행위를 하고 있는 것으로 결정하는 단계는, 사용자의 시선 각도가 허용오차를 벗어난다고 결정하는 단계; 및 사용자의 시선 각도가 허용오차를 벗어나는 점프와 시선 각도가 허용오차 내로 들어오는 회귀의 일련의 행동이 임계값 이상으로 반복되는 경우 사용자가 부정행위를 하고 있는 것으로 결정하는 단계를 포함할 수 있다.

일 실시예에 따르면, 시험 부정방지 방법은 미리 결정된 시간 및 일정 회수 각각은 가우시안 분포(Gaussian distribution)에 따르고, 미리 결정된 시간 및 일정 회수 각각은 평균 및 분산을 갖되, 평균 및 분산은 머신러닝 모델에서 변수이고, 머신러닝 모델은 부정행위로 결정된 시선을 학습함으로써 미리 결정된 시간 및 일정 회수를 수정하도록 구성될 수 있다.

일 실시예에 따르면, 시험 부정방지 방법은 3차원 특징점은 30개 내지 64개의 점으로 구성될 수 있다.

일 실시예에 따르면, 사용자가 부정행위를 하고 있는 것으로 결정하는 것에 응답하여, 사용자 및 시험을 감독하는 감독자에게 경고를 위한 알림을 진행하는 단계 이후에, 부정행위에 관한 경고를 위한 추가 1회 알람이 발생하는 경우, 추가적인 알람 이후에 사용자의 시험자격이 박탈된다는 메시지가 사용자에게 통지되고, 추가 1회 알람이 발생 이후에, 2회차 추가 알람이 발생하는 경우, 사용자의 시험자격이 자동적으로 박탈될 수 있다.

일 실시예에 따르면, 사용자의 시선 추적 분석을 통해, 사용자의 온라인 시험에서의 부정행위를 방지할 수 있는 효과가 있다.

일 실시예에 따르면, 관리비용 절감과 정밀한 부정행위 방지가 가능하며 카메라 사각에서 벌어지는 부정행위를 미연에 방지할 수 있는 효과가 있다.

일 실시예 따르면, 코로나 이후 심각한 사회 문제로 이어질 만큼 파장이 크고, 시험자와 교수간, 강사간의 신뢰 회복에 도움이 될 것으로 예상된다.

일 실시예 따르면, 시선추적 기술 탑재, 시야각 확대로 부정시험 탐지 및 문제은행 솔루션은 비대면 분야에 사용성이 확대될 것으로 보인다.

기존 부정방지 솔루션은 사람중심으로 분석을 해야 하는 불편함이 있었지만 본 발명의 시선추적, 얼굴인식을 통한 솔루션은 인력을 크게 줄이고 사용자의 효율성을 극대화하는 장점이 있다.

일 실시예 따르면, 종래에 얼굴의 인식의 경우 별도의 카메라를 달아야 했지만 본 발명에 따른 RGB 카메라 중심의 얼굴인식은 부정방지 솔루션의 보급을 극대화할 수 있다.

일 실시예에 따른 얼굴인식 기술은, 인식율 97% 이상의 고성능 얼굴인식 기술을 활용한 응시자의 본인인증 수행할 수 있고, 얼굴의 상하좌우 각도에 따라서 부정행위 결정할 수 있으며, 종래와 같이 일일이 신분증 얼굴대조를 할 필요가 없이 실시간으로 가능할 수 있고, 감독자가 일일이 응시자를 대조하거나 감시할 필요가 없을 수 있다.

일 실시예에 따른 시선 추적 기술은, 실시간 시선추적을 통해 응시자의 비정상적 시선이나 행동 등을 감지하여 응시자 및 감독자에게 경고조치를 할 수 있고, 시선추적은 응시자의 명시점, 즉 동공의 응시각을 감지하고 이를 추적하여 현재 응시 위치를 정확하게 파악할 수 있으며, 응시자의 시선 데이터를 기록 및 저장하여 추후 시험부정행위 관련자료로 활용할 수 있다.

한편, 실시예들에 따른 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 일 실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 일 실시예에 따른 온라인 시험 능력을 분석하기 위해 시선을 추적하는 과정을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따른 본인인증을 등록하는 과정을 설명하기 위한 도면이다.
도 4a는 일 실시예에 따른 얼굴의 특징점을 표현하기 위한 도면이다.
도 4b는 일 실시예에 따른 시선의 스탬프를 표현하기 위한 도면이다.
도 5a는 일 실시예에 따른 눈동자의 위치에 따라 사용자의 시선이 어느 부분을 주시하고 있는지 판정하는 과정을 설명하기 위한 도면이다.
도 5b는 일 실시예에 따른 동공 크기를 통해 집중도를 분석하는 과정을 설명하기 위한 순서도이다.
도 5c는 일 실시예에 따른 다각도 얼굴 특징점과 3차원 인식된 얼굴의 다각도 자세를 보여주는 도면이다.
도 6은 일 실시예에 따른 동공 크기에 따라 집중도를 결정하는 과정을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 눈동자 비율을 통해 시험을 진행하는 상태를 결정하는 과정을 설명하기 위한 순서도이다.
도 8은 일 실시예에 따른 현재 눈동자 비율에 따라 학습 상태를 판단하는 과정을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 사용자 단말의 상태를 분류하는 과정을 설명하기 위한 순서도이다.
도 10은 일 실시예에 따른 장치의 구성의 예시도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 결정되는 경우 그 상세한 설명을 생략한다.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.

도 1은 일 실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 일 실시예에 따른 시스템은 통신망을 통해 서로 통신 가능한 복수의 사용자 단말(100) 및 장치(200)를 포함할 수 있다.

먼저, 통신망은 유선 및 무선 등과 같이 그 통신 양태를 가리지 않고 구성될 수 있으며, 서버와 서버 간의 통신과 서버와 단말 간의 통신이 수행되도록 다양한 형태로 구현될 수 있다.

복수의 사용자 단말(100) 각각은 데스크탑 컴퓨터, 노트북, 태블릿, 스마트폰 등일 수 있다. 바람직하게, 도 1과 같이, 제1 사용자 단말(110), 제2 사용자 단말(120), 제3 사용자 단말(130) 등은 스마트폰일 수 있으며, 실시예에 따라 달리 채용될 수도 있다. 복수의 사용자 단말(100) 각각은 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 복수의 사용자 단말(100)은 장치(200)와 유무선으로 통신하도록 구성될 수 있다.

복수의 사용자 단말(100) 각각은 장치(200)를 이용하여 서비스를 제공하는 자 내지 단체가 운영하는 웹 페이지에 접속되거나, 장치(200)를 이용하여 서비스를 제공하는 사람 내지 단체가 개발·배포한 애플리케이션이 설치될 수 있다. 복수의 사용자 단말(100) 각각은 웹 페이지 또는 애플리케이션을 통해 장치(200)와 연동될 수 있다.

복수의 사용자 단말(100) 각각은 장치(200)에서 제공하는 웹 페이지, 애플리케이션을 등을 통해 장치(200)로 접속할 수 있다.

장치(200)는 장치(200)를 이용하여 서비스를 제공하는 자 내지 단체가 보유한 자체 서버일수도 있고, 클라우드 서버일 수도 있고, 분산된 노드(node)들의 P2P(peer-to-peer) 집합일 수도 있다. 장치(200)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 장치(200)는 추론 기능을 수행하는 적어도 하나 이상의 인공 신경망을 구비할 수 있다. 장치(200)는 복수의 사용자 단말(100)과 유무선으로 통신하도록 구성될 수 있다.

장치(200)는 온라인 시험을 수행하기 위해 제공될 수 있으며, 온라인 시험 콘텐츠를 복수의 사용자 단말(100)로 제공할 수 있다.

한편, 설명의 편의를 위해 도 1에서는 복수의 사용자 단말(100) 중 제1 사용자 단말(110), 제2 사용자 단말(120) 및 제3 사용자 단말(130)만을 도시하였으나, 단말들의 수는 실시예에 따라 얼마든지 달라질 수 있다. 장치(200)의 처리 용량이 허용하는 한, 단말들의 수는 특별한 제한이 없다.

일 실시예에 따르면, 촬영 장치는 노트북 카메라 또는 스마트폰 카메라를 포함할 수 있다.

일 실시예에 따르면, 시스템은 시선 추적 기술을 활용하여, 사용자가 보고 있는 위치를 추적할 수 있다. 예를 들어, 시스템은 사용자의 눈동자를 촬영하는 촬영 장치와 시험 콘텐츠를 표시하는 단말의 화면, 촬영 장치의 카메라를 통해 촬영된 영상에서 시험 콘텐츠에 대한 사용자 눈동자들의 위치 및 방향을 추출하여 시험 콘텐츠 상의 위치를 측정할 수 있으며, 이를 통해 사용자의 시선을 추적할 수 있다.

일 실시예에 따르면, 시스템은 사용자의 시선을 촬영하는 카메라와 같은 시선 추적 장치와 시험 콘텐츠를 제공하는 디스플레이 장치를 포함할 수 있다. 카메라는 사용자 단말의 기본 카메라 또는 별도의 촬영 장치일 수 있다. 예를 들어, 시선 추적 장치는 제1 사용자 단말(110)에 구비된 카메라로 구현될 수 있으며, 제1 사용자 단말(110)에 별도의 측정 장치를 추가하여 시선 추적의 정확도를 더 높일 수 있다. 별도의 시선 추적 장치는 3개의 카메라로 구성될 수 있으며, 중앙에 설치된 메인 카메라를 통해 시선을 추적하고, 양측에 설치된 보조 카메라를 통해 보정을 수행하여, 시선 추적의 정밀성을 높일 수 있다.

시선추적 기술을 활용하여 제1 사용자 단말(110)의 카메라 위치, 제1 사용자 단말(110)의 화면에 표시된 시험 콘텐츠의 위치, 온라인 시험을 수행하고 있는 사용자의 시선 위치를 파악하고, 3가지 위치를 측정 및 분석하여 사용자의 시선이 시험 콘텐츠 상의 어느 지점에 머무르고, 해당 지점에 얼마 동안 머무르는지 시간을 측정하고, 시선의 이동을 벡터 분석하여 데이터를 획득할 수 있다.

제1 사용자 단말(110)의 카메라 위치는 고정된 상태이고, 장치(200)를 통해 제공되는 시험 콘텐츠 상의 영상, 이미지, 텍스트 등도 미리 설정된 위치 포인트 값이 존재하므로, 사용자의 눈동자를 삼각측량법 등을 통해 추적하여 정확하게 측정할 수 있다. 사용자의 시선이 특정 포인트에 머무르는 시간, 이동 속도 등을 벡터값으로 하여 실시간 측정할 수 있다.

미세한 움직임으로 측정이 어려운 눈동자를 정확하게 추적하여 시험 진행 상태를 실시간으로 정확하게 파악할 수 있어, 인공 지능 기반 시선 추적 기술을 이용하여 시험 부정 방지가 가능하며, 3D 얼굴 인식용 빅데이터 수집 장치 및 알고리즘을 통해 생체 인식의 정확성을 높일 수 있어 시선 추적 시스템 적용 시 눈동자의 위치를 읽어 어느 부분을 주시하고 있는지를 결정할 수 있다. 특히, 한 지점에서 시선이 잠시 머무는 '고정(Fixation)'과 시선이 급격히 이동하는 '도약(Saccade)', 시선의 경로인 '주사경로(Scan path)', 세부 특징 탐지를 위해 시선이 특정지점으로 되돌아오는 '재방문(Revisit)' 4가지 분석 요소를 중점으로 시선 추적이 가능할 수 있다.

도 2는 일 실시예에 따른 데이터베이스를 포함하는 장치에 의해 수행되는, 시선추적을 이용한 시험 부정방지 방법을 설명하기 위한 순서도이다.

도 2를 참조하면, 먼저, S201 단계에서, 촬영 장치를 포함하는 사용자 단말에서 사용자가 본인인증을 등록할 수 있다. 구체적으로, 촬영 장치를 이용하여, 용자의 얼굴을 복수의 각도에서 이미지로 스캔하는 단계로서, 이미지는 폭이 최소 120 픽셀이고, 복수의 각도는 사용자의 얼굴 정면으로부터 좌우 30° 이내 및 상하 15° 이내이고, 이미지로 스캔하는 단계를 포함할 수 있다. 이미지를 데이터베이스에 등록하는 단계, 이미지로부터 사용자의 눈의 위치를 결정하는 단계, 이미지를 8비트의 컬러로 계조 변환시키는 단계, 복수의 각도로 스캔된 이미지에 기초하여, 계조 변환된 이미지에서 얼굴의 특징점을 추출하는 단계를 포함할 수 있다. 사용자의 얼굴의 특징부위 결정 및 부위별 특징점의 수의 결정은 제1 머신러닝 모델에 기초할 수 있다. 특징점에 기초하여, 사용자의 얼굴을 3차원 특징점으로 변환하는 단계를 포함할 수 있다.

S202 단계에서, 사용자가 시험을 응시할 때, 사용자의 얼굴을 스캔하여, 사용자의 얼굴의 3차원 특징점으로 변환시키고, 사용자가 시험을 응시할 때의 3차원 특징점과 사용자의 등록된 3차원 특징점을 비교함으로써, 사용자가 시험을 응시할 때의 3차원 특징점과 사용자의 등록된 3차원 특징점의 유사도의 값이 임계값 이상인 경우, 사용자가 본인인증을 응시자로서 수행하는 단계를 포함할 수 있다.

S203 단계에서, 사용자의 본인인증이 완료된 경우, 사용자에 의해 시험 시작 메뉴가 선택되면, 온라인 상으로 제공되는 시험 콘텐츠가 사용자 단말의 화면에 표시되도록 제어할 수 있다. 장치(200)는 제1 사용자 단말(110)에 로그인된 사용자 계정을 통해 사용자 정보를 확인하고, 확인된 사용자 정보를 통해 사용자에게 제공되는 시험 콘텐츠를 선정할 수 있다. 제1 사용자 단말(110)은 장치(200)에서 제공하는 시험 전용 홈페이지에 접속할 수 있으며, 해당 홈페이지 상에서 시험 시작 메뉴가 선택되면, 장치(200)는 시험 콘텐츠를 제1 사용자 단말(110)로 제공하여, 시험 콘텐츠가 제1 사용자 단말(110)의 화면에 표시되도록 제어할 수 있다.

S204 단계에서, 장치(200)는 사용자의 얼굴 영상에서 사용자의 좌측 및 우측 눈 영역을 인식할 수 있다.

구체적으로, 장치(200)는 사용자의 얼굴 영상을 분석하여, 사용자의 좌측 및 우측 눈이 위치하고 있는 영역을 파악할 수 있으며, 이를 통해, 사용자의 좌측 눈이 위치하고 있는 영역과 사용자의 우측 눈이 위치하고 있는 영역을 각각 인식할 수 있다.

S205 단계에서, 장치(200)는 인식된 눈 영역 각각에서 눈동자들의 위치를 확인할 수 있다. 구체적으로, 장치(200)는 좌측 눈 영역에서 좌측 눈동자가 어느 부분에 위치하는지 확인할 수 있고, 우측 눈 영역에서 우측 눈동자가 어느 부분에 위치하는지 확인할 수 있다.

S206 단계에서, 장치(200)는 눈 영역 각각의 크기 및 눈동자들의 크기를 기초하여, 사용자와 제1 사용자 단말(110) 간의 이격 거리를 산출할 수 있다. 구체적으로, 장치(200)는 좌측 눈 영역의 크기 및 우측 눈 영역의 크기를 비교하여, 사용자가 제1 사용자 단말(110)의 화면을 똑바로 쳐다보고 있는지 결정할 수 있으며, 좌측 눈 영역의 크기와 우측 눈 영역의 크기의 차이가 오차범위 이내로 있는 것으로 확인되면, 사용자가 제1 사용자 단말(110)의 화면을 똑바로 쳐다보고 있는 것으로 확인할 수 있다. 사용자가 제1 사용자 단말(110)의 화면을 똑바로 쳐다보고 있는 상태에서, 장치(200)는 좌측 눈 영역에서 좌측 눈동자가 차지하고 있는 크기 또는 우측 눈 영역에서 우측 눈동자가 차지하고 있는 크기를 확인하여, 사용자와 제1 사용자 단말(110) 간의 이격 거리를 산출할 수 있다. 이를 위해, 장치(200)는 사용자의 눈동자 크기를 거리 별로 미리 등록한 상태에서, 눈동자가 제1 크기로 확인되면, 제1 크기에 대응하는 거리를 사용자와 제1 사용자 단말(110) 간의 이격 거리로 산출할 수 있다. 예를 들어, 사용자 눈동자의 크기가 1cm로 확인된 경우, 사용자와 제1 사용자 단말(110) 간의 이격 거리는 30cm로 산출되고, 사용자 눈동자가 2cm로 확인된 경우, 사용자와 제1 사용자 단말(110) 간의 이격 거리는 20cm로 산출될 수 있다. 즉, 눈동자의 크기가 클수록 사용자와 제1 사용자 단말(110) 간의 이격 거리는 더 작은 수치로 산출될 수 있다.

S207 단계에서, 장치(200)는 눈동자들의 위치 및 이격 거리에 기초하여, 사용자의 시선이 향하는 위치를 확인할 수 있다. 구체적으로, 장치(200)는 눈 영역 각각에서 눈동자들이 어느 방향에 치우쳐서 위치하는 것을 확인하여 벡터 방향을 설정하고, 사용자와 제1 사용자 단말(110) 간의 이격 거리를 통해 벡터 크기를 설정하고, 벡터 방향 및 벡터 크기를 이용하여 사용자의 시선이 향하는 위치를 예측하여 확인할 수 있다.

S208 단계에서, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하는지 여부를 확인할 수 있다. 즉, 장치(200)는 사용자의 시선이 향하는 위치를 통해 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하는지 여부를 확인할 수 있다.

S207 단계에서 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하지 않는 것으로 확인되면, S206 단계로 되돌아가, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하는지 여부를 다시 확인할 수 있다.

S207 단계에서 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하는 것으로 확인되면, S208 단계에서, 장치(200)는 사용자 시선이 고정되어 이동하지 않는 눈동자 체류 시간이 미리 설정된 기준 시간보다 큰지 여부를 확인할 수 있다. 여기서, 기준 시간은 실시예에 따라 상이하게 설정될 수 있다.

구체적으로, 장치(200)는 사용자 시선이 특정 지점에 고정된 상태에서 이동하지 않는 눈동자 체류 시간을 측정할 수 있으며, 눈동자 체류 시간이 기준 시간을 비교하여 눈동자 체류 시간이 기준 시간보다 더 큰지 여부를 확인할 수 있다.

S208 단계에서 눈동자 체류 시간이 기준 시간보다 크지 않은 것으로 확인되면, S206 단계로 되돌아가, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하는지 여부를 다시 확인할 수 있다.

S208 단계에서 눈동자 체류 시간이 기준 시간보다 큰 것으로 확인되면, S209 단계에서, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에서 어느 지점을 주시하고 있는 것으로 결정하고, 사용자 눈동자들의 위치 및 이격 거리에 기초하여 사용자의 시선이 제1 사용자 단말(110)의 화면 내에서 제1 지점을 주시하고 있는 것으로 결정할 수 있다.

예를 들어, 사용자가 제1 사용자 단말(110)의 화면 내에서 제1 지점을 1초 동안 쳐다본 경우, 장치(200)는 제1 지점에 대한 눈동자 체류 시간을 1초로 측정하고, 1초가 기준 시간보다 크지 않은 것으로 확인되어 사용자가 제1 지점을 아직 주시하고 있지 않은 것으로 결정할 수 있다. 이후, 사용자가 제1 사용자 단말(110)의 화면 내에서 제1 지점을 2초 동안 쳐다본 경우, 장치(200)는 제1 지점에 대한 눈동자 체류 시간을 2초로 측정하고, 2초가 기준 시간보다 큰 것으로 확인되어 사용자가 제1 지점을 주시하고 있는 것으로 결정할 수 있다.

S210 단계에서, 장치(200)는 시험 콘텐츠가 표시되는 제1 영역에 제1 지점이 위치하는지 여부를 확인할 수 있다.

구체적으로, 장치(200)는 시험 콘텐츠를 제1 사용자 단말(110)로 제공할 수 있으며, 제1 사용자 단말(110)의 화면 중 일부분인 제1 영역에 시험 콘텐츠가 표시되고, 제1 사용자 단말(110)의 화면 중 다른 부분인 제2 영역에 시험 콘텐츠를 보조하는 영상, 듣기 평가의 재생 인터페이스 등이 표시될 수 있다.

S211 단계에서 사용자가 부정행위를 하고 있는지 판단할 수 있다. 사용자의 시선이 제1 영역에 제1 지점으로부터 미리 결정된 시간 동안 일정 회수를 벗어난다고 판단되면, 사용자가 부정행위를 하고 있는 것으로 판단할 수 있다.

S213 단계에서 사용자가 부정행위를 하고 있는 것으로 판단하는 것에 응답하여, 사용자 및 시험을 감독하는 감독자에게 경고를 위한 알림을 진행할 수 있다. 예를 들어, 3번 이상의 부정행위에 관한 경고를 위한 알람이 진행된다면 응시자는 시험자격이 박탈될 수 있다.

또한, 사용자가 부정행위를 하고 있는 것으로 판단하는 경우, 사용자의 시선에 관한 패턴을 데이터베이스에 저장하고, 이러한 패턴을 부정행위의 행동습관을 판단하기 위한 머신러닝(machine learning) 모델에 입력하여 학습시킬 수 있다. 패턴은 사용자의 시선이 미리 결정된 시간 동안에 일정 회수를 벗어날 때의 미리 결정된 시간 동안의 사용자의 시선의 움직임의 좌표를 기록하는 스탬프(stamp)를 포함할 수 있다.

일 실시예 의하면, 사용자가 부정행위를 하고 있는 것으로 결정하는 단계는, 사용자의 시선에 관한 패턴에 관한 학습된 머신러닝에 기초하여 결정될 수 있다.

일 실시예 의하면, 제1 지점을 주시하고 있는 것으로 판단하는 단계는, 사용자의 얼굴 윤곽선을 추출하여 얼굴 각도 계산하는 단계; 및 얼굴 윤곽선의 플롯 포인트의 거리 계산을 통한 각도를 계산하는 단계를 포함할 수 있다.

일 실시예 의하면, 사용자가 부정행위를 하고 있는 것으로 판단하는 단계는, 사용자의 시선 각도가 허용오차를 벗어난다고 판단하는 단계; 및 사용자의 시선 각도가 허용오차를 벗어나는 점프와 시선 각도가 허용오차 내로 들어오는 회귀의 일련의 행동이 임계값 이상으로 반복되는 경우 사용자가 부정행위를 하고 있는 것으로 판단하는 단계를 포함할 수 있다.

도 3은 일 실시예에 따른 본인인증을 등록하는 과정을 설명하기 위한 도면이다.

S310 단계에서, 사용자의 얼굴을 복수의 각도에서 이미지로 스캔할 수 있습니다.

S320 단계에서, 이미지를 데이터베이스에 등록할 수 있습니다.

S330 단계에서, 이미지를 기초로 하여 사용자의 눈의 위치를 결정할 수 있습니다. 구체적으로, 장치(200)는 이미지에서 눈 영역 각각에서 눈동자들이 어느 방향에 치우쳐서 위치하는 것을 확인하여 벡터 값을 산출하고, 산출된 벡터 값을 통해 사용자의 눈의 좌표를 추출할 수 있다. 즉, 사용자가 좌측 상단을 쳐다볼 때의 눈동자 위치를 통해 사용자의 눈의 좌표를 추출할 수 있다.

S340 단계에서, 이미지를 8비트의 컬러로 계조 변환시킬 수 있습니다. 한편, 이미지를 8비트의 그레이스케일로 계조 변환시킬 수도 있습니다.

S350 단계에서, 계조 변환된 이미지에서 사용자의 얼굴의 특징점을 추출할 수 있습니다.

S360 단계에서, 추출된 특징점에서 기초하여, 사용자의 얼굴을 3차원 특징점으로 변환시킬 수 있습니다.

도 4a는 일 실시예에 따른 특징점을 표현하기 위한 도면입니다. 도 4에서 얼굴 이미지에 표시된 하얀 점들은 특징점을 나타냅니다.

도 4b는 일 실시예에 따른 시선의 스탬프를 표현합니다.

일 실시예 의하면, 미리 결정된 시간 및 일정 회수 각각은 가우시안 분포(Gaussian distribution)에 따르고, 미리 결정된 시간 및 일정 회수 각각은 평균 및 분산을 갖되, 평균 및 분산은 머신러닝 모델의 변수들이고, 머신러닝 모델은 부정행위로 판단된 시선을 학습함으로써 미리 결정된 시간 및 일정 회수를 조정하도록 구성될 수 있다.

일 실시예 의하면, 3차원 특징점은 30개 내지 64개의 점으로 구성될 수 있다.

도 5a는 일 실시예에 따른 눈동자의 위치에 따라 사용자의 시선이 어느 부분을 주시하고 있는지 결정하는 과정을 설명하기 위한 도면이다.

먼저, 도 5a의 (a)에 도시된 바와 같이, 사용자의 눈동자가 눈 영역에서 기준 범위보다 우측 방향으로 치우쳐서 위치하고 있는 것으로 확인되면, 사용자의 시선이 좌측 부분을 주시하고 있는 것으로 결정할 수 있다.

도 5a의 (b)에 도시된 바와 같이, 사용자의 눈동자가 눈 영역에서 기준 범위 내에 위치하고 있는 것으로 확인되면, 사용자의 시선이 중심 부분을 주시하고 있는 것으로 결정할 수 있다.

도 5a의 (c)에 도시된 바와 같이, 사용자의 눈동자가 눈 영역에서 기준 범위보다 좌측 방향으로 치우쳐서 위치하고 있는 것으로 확인되면, 사용자의 시선이 우측 부분을 주시하고 있는 것으로 결정할 수 있다.

도 5b는 일 실시예에 따른 동공 크기를 통해 집중도를 분석하는 과정을 설명하기 위한 순서도이다.

도 5b를 참조하면, 먼저, S501 단계에서, 장치(200)는 제1 영역에 제1 지점이 위치하는 것으로 확인되면, 제1 지점을 주시할 때 획득된 사용자의 얼굴 영상을 분석할 수 있다.

S502 단계에서, 장치(200)는 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들의 현재 동공 크기를 확인할 수 있다.

S503 단계에서, 장치(200)는 데이터베이스에 미리 등록된 사용자의 동공 크기인 제1 동공 크기를 획득할 수 있다. 이를 위해, 장치(200)의 데이터베이스에는 사용자의 동공 크기인 제1 동공 크기가 미리 저장되어 등록될 수 있다.

S504 단계에서, 장치(200)는 현재 동공 크기와 제1 동공 크기 간의 차이가 오차 범위 이내인지 여부를 확인할 수 있다.

구체적으로, 장치(200)는 현재 획득된 얼굴 영상의 눈 영역에서 현재 동공이 차지하고 있는 크기와 미리 등록된 얼굴 영상의 눈 영역에서 제1 동공이 차지하고 있는 크기를 비교하여, 현재 동공 크기와 제1 동공 크기 간의 차이가 오차 범위 이내인지 여부를 확인할 수 있다. 이때, 현재 획득된 얼굴 영상의 눈 영역과 미리 등록된 얼굴 영상의 눈 영역의 크기가 일치하도록 두 개의 얼굴 영상 중 적어도 하나의 크기를 조절한 후, 현재 동공 크기와 제1 동공 크기를 비교할 수 있다.

S504 단계에서 현재 동공 크기와 제1 동공 크기 간의 차이가 오차 범위 이내로 확인되면, S505 단계에서, 장치(200)는 시험에 대한 집중도가 보통인 것으로 분석할 수 있다. 즉, 현재 동공 크기가 미리 등록된 제1 동공 크기와 유사한 것으로 확인되면, 시험에 대한 집중도가 보통으로 분석될 수 있다.

S504 단계에서 현재 동공 크기와 제1 동공 크기 간의 차이가 오차 범위를 벗어나는 것으로 확인되면, S506 단계에서, 장치(200)는 현재 동공 크기가 제1 동공 크기보다 작은지 여부를 확인할 수 있다.

S506 단계에서 현재 동공 크기가 제1 동공 크기보다 작은 것으로 확인되면, S507 단계에서, 장치(200)는 시험에 대한 집중도가 매우 우수한 것으로 분석할 수 있다. 즉, 현재 동공 크기가 미리 등록된 제1 동공 크기보다 더 작은 것으로 확인되면, 시험에 대한 집중도가 매우 우수로 분석될 수 있다. 시험에 대한 집중도가 일정기간 지속된다면 시험에 대한 부정행위를 저지를 확률이 낮다는 것을 의미할 수 있다. 그에 따라, 응시자가 미리 정해진 시간 이상 집중도가 지속된다고 판단된다면 해당 응시자가 부정행위를 저지를 확률이 현저히 낮다고 볼 수 있으므로, 감독자가 해당 응시자를 감시하지 않아도 될 수 있다. 그에 따라, 전체를 관리하는 감독자의 불편이 감소될 수 있고, 해당 응시자에 대한 감시를 중단함에 따라 전력이 감소될 수도 있다.

S506 단계에서 현재 동공 크기가 제1 동공 크기보다 큰 것으로 확인되면, S508 단계에서, 장치(200)는 시험에 대한 집중도가 낮아 산만한 것으로 분석할 수 있다. 즉, 현재 동공 크기가 미리 등록된 제1 동공 크기보다 더 큰 것으로 확인되면, 시험에 대한 집중도가 낮음으로 분석될 수 있다. 시험에 대한 집중도가 낮다는 것은 시험자가 부정을 저지를 확률이 높다는 것을 의미한다.

도 5c는 일 실시예에 따른 다각도 얼굴 특징점과 3차원 인식된 얼굴의 다각도 자세를 보여주는 도면이다.

도 6은 일 실시예에 따른 동공 크기에 따라 집중도를 결정하는 과정을 설명하기 위한 도면이다.

먼저, 도 6의 (a)에 도시된 바와 같이, 사용자의 눈 영역에서 인식된 눈동자의 현재 동공 크기가 미리 등록된 제1 동공 크기보다 더 작은 것으로 확인되면, 사용자의 집중도가 매우 우수한 것으로 분석될 수 있다. 즉, 시험에 집중하고 있는 것으로서 부정행위를 방지할 확률이 적다는 것을 의미한다.

도 6의 (b)에 도시된 바와 같이, 사용자의 눈 영역에서 인식된 눈동자의 현재 동공 크기가 미리 등록된 제1 동공 크기와 유사한 것으로 확인되면, 사용자의 집중도가 보통인 것으로 분석될 수 있다.

도 6의 (c)에 도시된 바와 같이, 사용자의 눈 영역에서 인식된 눈동자의 현재 동공 크기가 미리 등록된 제1 동공 크기보다 더 큰 것으로 확인되면, 사용자의 집중도가 산만하여 낮은 것으로 분석될 수 있다. 한편, 시험 부정을 시도하려는 사람은 교감신경계에 따라 흥분도가 올라가게 되어 동공이 커질 수 있다. 이러한 동공의 크기를 통해 시험의 부정을 결정할 수도 있다.

도 7은 일 실시예에 따른 눈동자 비율을 통해 학습 상태를 판단하는 과정을 설명하기 위한 순서도이다.

도 7을 참조하면, 먼저, S701 단계에서, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에서 제1 지점을 주시하고 있는 것으로 판단할 수 있다.

S702 단계에서, 장치(200)는 제1 영역에 제1 지점이 위치하는지 여부를 확인할 수 있다.

S702 단계에서 제1 영역에 제1 지점이 위치하지 않는 것으로 확인되면, S703 단계에서, 장치(200)는 사용자의 상태를 한눈팔기 상태로 판단할 수 있다.

S702 단계에서 제1 영역에 제1 지점이 위치하는 것으로 확인되면, S704 단계에서, 장치(200)는 눈 영역 각각에서 눈동자들이 차지하고 있는 현재 눈동자 비율을 확인할 수 있다.

구체적으로, 장치(200)는 좌측 눈 영역에서 좌측 눈동자가 차지하고 있는 좌측 눈동자 비율을 추출하고, 우측 눈 영역에서 우측 눈동자가 차지하고 있는 우측 눈동자 비율을 추출한 후, 좌측 눈동자 비율과 우측 눈동자 비율의 평균을 현재 눈동자 비율로 확인할 수 있다.

S705 단계에서, 장치(200)는 현재 눈동자 비율이 미리 설정된 제1 비율 보다 높은지 여부를 확인할 수 있다. 여기서, 제1 비율은 실시예에 따라 상이하게 설정될 수 있다.

S705 단계에서 현재 눈동자 비율이 제1 비율 보다 높은 것으로 확인되면, S706 단계에서, 장치(200)는 사용자의 상태를 집중 상태로 판단할 수 있다. 예를 들어, 현재 눈동자 비율이 90%이고, 제1 비율이 70%인 경우, 사용자의 상태가 집중 상태로 판단될 수 있다.

S705 단계에서 현재 눈동자 비율이 제1 비율 보다 낮은 것으로 확인되면, S707 단계에서, 장치(200)는 현재 눈동자 비율이 미리 설정된 제2 비율 보다 높은지 여부를 확인할 수 있다. 여기서, 제2 비율은 제1 비율 보다 낮은 값으로 설정될 수 있다.

S707 단계에서 현재 눈동자 비율이 제2 비율 보다 높은 것으로 확인되면, S708 단계에서, 장치(200)는 사용자의 상태를 졸음엄습 상태로 판단할 수 있다. 예를 들어, 현재 눈동자 비율이 50%이고, 제1 비율이 70%이고, 제2 비율이 40%인 경우, 사용자의 상태가 졸음엄습 상태로 판단될 수 있다.

S707 단계에서 현재 눈동자 비율이 제2 비율 보다 낮은 것으로 확인되면, S709 단계에서, 장치(200)는 현재 눈동자 비율이 0인지 여부를 확인할 수 있다.

S709 단계에서 현재 눈동자 비율이 0이 아닌 것으로 확인되면, S710 단계에서, 장치(200)는 사용자의 상태를 비몽사몽 상태로 판단할 수 있다. 예를 들어, 현재 눈동자 비율이 20%이고, 제2 비율이 40%인 경우, 사용자의 상태가 비몽사몽 상태로 판단될 수 있다.

S709 단계에서 현재 눈동자 비율이 0으로 확인되면, S711 단계에서, 장치(200)는 사용자의 상태를 수면 상태로 판단할 수 있다. 예를 들어, 현재 눈동자 비율이 0%인 경우, 사용자의 상태가 수면 상태로 판단될 수 있다.

도 8은 일 실시예에 따른 현재 눈동자 비율에 따라 학습 상태를 판단하는 과정을 설명하기 위한 도면이다.

먼저, 도 8의 (a)에 도시된 바와 같이, 사용자의 시선이 중심이 아닌 다른 부분을 보고 있는 것으로 확인되면, 사용자의 상태가 한눈팔기 상태로 판단될 수 있다. 사용자의 한눈팔기 상태가 일정 회수를 넘는다면 시험 진행 중에 부정행위를 하는 것으로 판단될 수 있다.

도 8의 (b)에 도시된 바와 같이, 사용자의 시선이 중심 부분을 쳐다보고 있으면서, 현재 눈동자 비율이 제1 비율 보다 높은 것으로 확인되면, 사용자의 상태가 집중 상태로 판단될 수 있다. 사용자가 중심 부분을 쳐다보면서 집중 상태를 유지한다면 부정행위를 할 확률이 낮다고 판단될 수 있다.

도 8의 (c)에 도시된 바와 같이, 사용자의 시선이 중심 부분을 쳐다보고 있으면서 현재 눈동자 비율이 제1 비율 보다 낮지만 제2 비율 보다 높은 것으로 확인되면, 사용자의 상태가 졸음엄습 상태로 판단될 수 있다.

도 8의 (d)에 도시된 바와 같이, 사용자의 시선이 중심 부분을 쳐다보고 있으면서, 현재 눈동자 비율이 제2 비율 보다 낮은 것으로 확인되면, 사용자의 상태가 비몽사몽 상태로 판단될 수 있다. 사용자가 비몽사몽 상태라면 오히려 시험에서 부정행위를 저지를 확률이 낮다고 볼 수도 있다.

도 8의 (e)에 도시된 바와 같이, 사용자의 현재 눈동자 비율이 0으로, 사용자의 시선이 어느 부분을 보고 있는지 확인되지 않으면, 사용자의 상태가 수면 상태로 판단될 수 있다. 사용자가 전체 시험시간 중 예컨대 10%의 시험시간 동안 모든 답을 기재하고, 나머지 사간 동안 비몽사몽 상태라면 시험에서 부정행위를 저질렀을 확률이 높다고 할 수 있다.

도 9는 일 실시예에 따른 사용자 단말의 상태를 분류하는 과정을 설명하기 위한 순서도이다.

일 실시예에 따르면, 시스템은 복수의 사용자 단말(100), 장치(200) 이외에 센서 그룹 및 항온항습기를 더 포함할 수 있다.

시스템은 강의실 내에 배치되어 있는 복수의 사용자 단말(100)을 포함할 수 있으며, 예를 들어, 제1 사용자 단말(110), 제2 사용자 단말(120) 및 제3 사용자 단말(130)이 강의실 내에 배치되어 있는 경우, 제1 사용자 단말(110)에 대응하여 제1 센서 그룹 및 제1 항온항습기가 더 포함되고, 제2 사용자 단말(120)에 대응하여 제2 센서 그룹 및 제2 항온항습기가 더 포함되고, 제3 사용자 단말(130)에 대응하여 제3 센서 그룹 및 제3 항온항습기가 더 포함될 수 있다.

복수의 사용자 단말(100) 각각은 내부 공기의 온도 및 습도를 측정하는 센서 그룹을 포함할 수 있다. 예를 들어, 제1 사용자 단말(110)은 제1 사용자 단말(110)의 내부 공기의 온도 및 습도를 측정하는 제1 센서 그룹을 포함하고, 제2 사용자 단말(120)은 제2 사용자 단말(120)의 내부 공기의 온도 및 습도를 측정하는 제2 센서 그룹을 포함할 수 있다.

복수의 센서 그룹 각각은 온도를 측정하는 온도 센서와 습도를 측정하는 습도 센서를 포함할 수 있다.

복수의 사용자 단말(100)에는 복수의 항온항습기가 각각 연결될 수 있으며, 예를 들어, 제1 사용자 단말(110)에는 제1 항온항습기가 연결되어 있고, 제2 사용자 단말(120)에는 제2 항온항습기가 연결될 수 있다.

제1 항온항습기는 제1 사용자 단말(110)에 설정된 목표 온도를 유지하도록 공기를 가열 또는 냉각시킬 수 있으며, 제1 사용자 단말(110)에 설정된 목표 습도를 유지하도록 공기를 가습 또는 감습시킬 수 있다.

마찬가지로, 제2 항온항습기는 제2 사용자 단말(120)에 설정된 목표 온도를 유지하도록 공기를 가열 또는 냉각시킬 수 있으며, 제2 사용자 단말(120)에 설정된 목표 습도를 유지하도록 공기를 가습 또는 감습시킬 수 있다.

일 실시예에 따르면, 제1 사용자 단말(110)에 설정된 목표 온도와 제2 사용자 단말(120)에 설정된 목표 온도는 자동으로 동일하게 설정될 수 있으며, 사용자 설정에 따라 각각의 목표 온도가 상이하게 설정될 수도 있다.

또한, 제1 사용자 단말(110)에 설정된 목표 습도와 제2 사용자 단말(120)에 설정된 목표 습도는 자동으로 동일하게 설정될 수 있으며, 사용자 설정에 따라 각각의 목표 습도가 상이하게 설정될 수도 있다.

장치(200)는 시스템에 포함된 제1 사용자 단말(110), 제2 사용자 단말(120), 제1 센서 그룹, 제2 센서 그룹, 제1 항온항습기 및 제2 항온항습기 각각의 동작이 정상적으로 수행되도록 제어할 수 있다.

장치(200)는 제1 항온항습기 및 제2 항온항습기 각각의 동작을 제어하여, 제1 사용자 단말(110) 및 제2 사용자 단말(120) 각각에서 측정된 온도가 목표 온도를 유지하도록 조절하고, 제1 사용자 단말(110) 및 제2 사용자 단말(120) 각각에서 측정된 습도가 목표 습도를 유지하도록 조절할 수 있다. 이때, 제1 센서 그룹은 제1 사용자 단말(110)의 온도 및 습도를 측정할 수 있으며, 제2 센서 그룹은 제2 사용자 단말(120)의 온도 및 습도를 측정할 수 있다.

한편, 일 실시예에 따르면, 장치(200)는 제1 센서 그룹에서 측정된 온도를 확인하여, 제1 사용자 단말(110)에 설정된 목표 온도를 유지하도록 제1 사용자 단말(110)와 연결된 제1 항온항습기의 동작을 제어하고, 제1 센서 그룹에서 측정된 습도를 확인하여, 제1 사용자 단말(110)에 설정된 목표 습도를 유지하도록 제1 항온항습기의 동작을 제어할 수 있다.

또한, 장치(200)는 제2 센서 그룹에서 측정된 온도를 확인하여, 제2 사용자 단말(120)에 설정된 목표 온도를 유지하도록 제2 사용자 단말(120)와 연결된 제2 항온항습기의 동작을 제어하고, 제2 센서 그룹에서 측정된 습도를 확인하여, 제2 사용자 단말(120)에 설정된 목표 습도를 유지하도록 제2 항온항습기의 동작을 제어할 수 있다.

일 실시예에 따르면, 장치(200)는 제1 센서 그룹에서 측정된 온도와 제1 사용자 단말(110)에 설정된 목표 온도의 차이인 제1 온도 차이값을 산출하고, 제1 온도 차이값이 기준치보다 큰 것으로 확인되면, 제1 사용자 단말(110)와 연결된 제1 항온항습기가 동작되도록 제어할 수 있다.

예를 들어, 장치(200)는 제1 센서 그룹에서 측정된 온도가 30℃로 확인되고, 제1 사용자 단말(110)에 설정된 목표 온도가 25℃로 확인되는 경우, 제1 온도 차이값으로 5℃를 산출할 수 있으며, 기준치가 3℃로 설정되어 있는 경우, 온도 변화가 필요하기 때문에 제1 항온항습기가 동작되도록 제어할 수 있다.

또한, 장치(200)는 제2 센서 그룹에서 측정된 온도와 제2 사용자 단말(120)에 설정된 목표 온도의 차이인 제2 온도 차이값을 산출하고, 제2 온도 차이값이 기준치보다 큰 것으로 확인되면, 제2 사용자 단말(120)와 연결된 제2 항온항습기가 동작되도록 제어할 수 있다.

일 실시예에 따르면, 장치(200)는 강의실 내에 배치된 복수의 사용자 단말(100) 각각에 설정된 목표 온도 및 목표 습도를 확인할 수 있다.

장치(200)는 복수의 사용자 단말(100) 각각과 연결된 복수의 항온항습기 각각의 동작을 제어하여, 복수의 사용자 단말(100) 각각에서 측정된 온도가 목표 온도를 유지하도록 조절하고, 복수의 사용자 단말(100) 각각에서 측정된 습도가 목표 습도를 유지하도록 조절할 수 있다.

S901 단계에서, 장치(200)는 복수의 사용자 단말(100) 별로 미리 설정된 기간 동안 목표 온도 및 목표 습도를 유지하도록 조절된 조절 횟수를 확인할 수 있다.

예를 들어, 장치(200)는 제1 사용자 단말(110)에 온도 변화가 필요한 경우, 제1 항온항습기가 동작되도록 제어하여, 제1 사용자 단말(110)이 목표 온도를 유지하도록 조절할 수 있으며, 일주일 동안 제1 사용자 단말(110)이 목표 온도를 유지하기 위해 조절된 조절 횟수를 산출하여 확인할 수 있다.

S902 단계에서, 장치(200)는 조절 횟수가 기준 범위 내에 있는지 여부를 확인할 수 있다.

S902 단계에서 조절 횟수가 기준 범위 내에 있는 것으로 결정되면, S903 단계에서, 장치(200)는 조절 횟수가 기준 범위 내에 있는 것으로 확인된 사용자 단말을 이상이 없는 정상 상태로 분류할 수 있다.

예를 들어, 기준 범위가 10회 이상, 20회 이하로 설정되어 있는 경우, 장치(200)는 제1 사용자 단말(110)의 조절 횟수가 15회로 확인되면, 제1 사용자 단말(110)을 정상 상태로 분류할 수 있다.

S902 단계에서 조절 횟수가 기준 범위를 벗어나는 것으로 결정되면, S904 단계에서, 장치(200)는 조절 횟수가 기준 범위를 벗어나는 것으로 확인된 사용자 단말을 이상이 있는 비정상 상태로 분류할 수 있다.

예를 들어, 기준 범위가 10회 이상, 20회 이하로 설정되어 있는 경우, 장치(200)는 제2 사용자 단말(120)의 조절 횟수가 5회로 확인되면, 제2 사용자 단말(120)을 비정상 상태로 분류할 수 있으며, 제2 사용자 단말(120)의 조절 횟수가 25회로 확인되면, 제2 사용자 단말(120)을 비정상 상태로 분류할 수도 있다.

S905 단계에서, 장치(200)는 비정상 상태로 분류된 제2 사용자 단말(120)의 조절 횟수가 기준 범위의 최소값보다 작은지 여부를 확인할 수 있다.

S905 단계에서 제2 사용자 단말(120)의 조절 횟수가 기준 범위의 최소값보다 작은 것으로 확인되면, S906 단계에서, 장치(200)는 제2 사용자 단말(120)을 비정상 상태에서 유휴 상태로 분류할 수 있다.

예를 들어, 기준 범위가 10회 이상, 20회 이하로 설정되어 있는 경우, 장치(200)는 제2 사용자 단말(120)의 조절 횟수가 5회로 확인되어, 기준 범위의 최소값인 10회보다 조절 횟수가 작은 것으로 확인되면, 제2 사용자 단말(120)을 유휴 상태로 분류할 수 있다.

S905 단계에서 제2 사용자 단말(120)의 조절 횟수가 기준 범위의 최소값보다 작지 않은 것으로 확인되면, 제2 사용자 단말(120)의 조절 횟수가 기준 범위를 벗어나 있기 때문에, 장치(200)는 제2 사용자 단말(120)의 조절 횟수가 기준 범위의 최대값보다 큰 것으로 확인할 수 있으며, 제2 사용자 단말(120)의 조절 횟수가 기준 범위의 최대값보다 큰 것으로 확인되면, S907 단계에서, 장치(200)는 제2 사용자 단말(120)을 비정상 상태에서 과부하 상태로 분류할 수 있다.

예를 들어, 기준 범위가 10회 이상, 20회 이하로 설정되어 있는 경우, 장치(200)는 제2 사용자 단말(120)의 조절 횟수가 25회로 확인되어, 기준 범위의 최대값인 20회보다 조절 횟수가 큰 것으로 확인되면, 제2 사용자 단말(120)을 과부하 상태로 분류할 수 있다.

제2 사용자 단말(120)이 유효 상태로 분류되면, S908 단계에서, 장치(200)는 제2 사용자 단말(120)의 유휴 상태가 제4 기준 시간 이상으로 지속되었는지 여부를 확인할 수 있다. 여기서, 제4 기준 시간은 실시예에 따라 상이하게 설정될 수 있다.

S908 단계에서 제2 사용자 단말(120)의 유휴 상태가 제4 기준 시간 이상으로 지속된 것이 확인되면, S910 단계에서, 장치(200)는 제2 사용자 단말(120)을 자리 교체 대상 단말로 분류할 수 있다.

예를 들어, 제2 사용자 단말(120)의 유휴 상태가 1달 이상으로 지속된 것이 확인되면, 장치(200)는 제2 사용자 단말(120)을 자리 교체 대상 단말로 분류할 수 있다.

제2 사용자 단말(120)이 과부하 상태로 분류되면, S909 단계에서, 장치(200)는 제2 사용자 단말(120)의 과부하 상태가 제4 기준 시간 이상으로 지속되었는지 여부를 확인할 수 있다.

S909 단계에서 제2 사용자 단말(120)의 과부하 상태가 제4 기준 시간 이상으로 지속된 것이 확인되면, S911 단계에서, 장치(200)는 제2 사용자 단말(120)을 수리 대상 단말로 분류할 수 있다.

예를 들어, 제2 사용자 단말(120)의 과부하 상태가 1달 이상으로 지속된 것이 확인되면, 장치(200)는 제2 사용자 단말(120)을 수리 대상 단말로 분류할 수 있다.

S912 단계에서, 장치(200)는 제1 사용자 단말(110) 및 제2 사용자 단말(120)에 대한 상태 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S903 단계에서 제1 사용자 단말(110)이 정상 상태로 분류되면, 장치(200)는 제1 사용자 단말(110)이 이상이 없는 정상 상태인 것을 알려주는 상태 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S904 단계에서 제2 사용자 단말(120)이 비정상 상태로 분류되면, 장치(200)는 제2 사용자 단말(120)이 이상이 있는 비정상 상태인 것을 알려주는 상태 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S906 단계에서 제2 사용자 단말(120)이 유휴 상태로 분류되고, S908 단계에서 유휴 상태가 제4 기준 시간 이상으로 지속되지 않은 것이 확인되면, 장치(200)는 제2 사용자 단말(120)이 비정상 상태에서 유휴 상태인 것을 알려주는 상태 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S907 단계에서 제2 사용자 단말(120)이 과부하 상태로 분류되고, S909 단계에서 과부하 상태가 기준 시간 이상으로 지속되지 않은 것이 확인되면, 장치(200)는 제2 사용자 단말(120)이 비정상 상태에서 과부하 상태인 것을 알려주는 상태 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S910 단계에서 제2 사용자 단말(120)이 자리 교체 대상 단말로 분류되면, 장치(200)는 제2 사용자 단말(120)의 유휴 상태에 대한 지속 기간이 오래되어, 제2 사용자 단말(120)에 대한 자리 교체가 필요한 것을 알려주는 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S911 단계에서 제2 사용자 단말(120)이 수리 대상 단말로 분류되면, 장치(200)는 제2 사용자 단말(120)의 과부하 상태에 대한 지속 기간이 오래되어, 제2 사용자 단말(120)에 대한 수리가 필요한 것을 알려주는 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

도 10은 일 실시예에 따른 장치의 구성의 예시도이다.

일 실시예에 따른 장치(200)는 프로세서(210) 및 메모리(220)를 포함한다. 프로세서(210)는 도 1 내지 도 9를 참조하여 전술된 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 9를 참조하여 전술된 적어도 하나의 방법을 수행할 수 있다. 장치(200)를 이용하는 자 또는 단체는 도 1 내지 도 16을 참조하여 전술된 방법들 일부 또는 전부와 관련된 서비스를 제공할 수 있다.

메모리(220)는 전술된 방법들과 관련된 정보를 저장하거나 전술된 방법들을 구현하는 프로그램을 저장할 수 있다. 메모리(220)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

프로세서(210)는 프로그램을 실행하고, 장치(200)를 제어할 수 있다. 프로세서(210)에 의하여 실행되는 프로그램의 코드는 메모리(220)에 저장될 수 있다. 장치(200)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 유무선 통신을 통해 데이터를 교환할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims

데이터베이스를 포함하는 장치에 의해 수행되는, 시선추적을 이용한 시험 부정방지 방법에 있어서,
촬영 장치를 포함하는 사용자 단말에서 사용자가 본인인증을 등록하는 단계로서,
상기 촬영 장치를 이용하여, 상기 사용자의 얼굴을 복수의 각도에서 이미지들로 스캔하는 단계 - 상기 이미지들은 폭이 최소 120 픽셀이고, 상기 복수의 각도는 상기 사용자의 얼굴 정면으로부터 좌우 30° 이내 및 상하 15° 이내임 -,
상기 이미지들을 상기 데이터베이스에 등록하는 단계,
상기 이미지들로부터 상기 사용자의 눈의 위치를 결정하는 단계,
상기 이미지들을 8비트의 컬러로 계조 변환시키는 단계,
상기 복수의 각도로 스캔된 이미지들에 기초하여, 계조 변환된 이미지들에서 얼굴의 특징점을 추출하는 단계 - 상기 얼굴의 특징점을 추출하는 단계는 상기 사용자의 얼굴의 특징부위 결정 및 부위별 특징점의 수를 특징점 추출 머신러닝 모델에 기초하여 결정하는 단계를 포함하고, 상기 얼굴의 특징점은 상기 특징점 추출 머신러닝 모델에 기초하여 30개 내지 64개의 점으로 구성됨 -, 및
상기 특징점에 기초하여, 상기 사용자의 얼굴을 3차원 특징점으로 변환하는 단계
를 포함하는, 본인인증을 등록하는 단계;
상기 사용자가 상기 사용자 단말에서 시험을 시작할 때, 상기 사용자의 얼굴을 스캔하여, 상기 사용자의 얼굴의 3차원 특징점으로 변환시키고, 상기 사용자가 상기 사용자 단말에서 시험을 시작할 때의 3차원 특징점과 상기 본인인증을 등록하는 단계에서 등록된 3차원 특징점을 비교함으로써, 상기 사용자가 시험을 응시할 때의 3차원 특징점과 상기 사용자의 등록된 3차원 특징점의 유사도의 값이 임계값 이상인 경우, 상기 사용자가 본인인증을 응시자로서 수행하는 단계;
상기 사용자의 본인인증이 완료된 경우, 상기 사용자에 의해 시험 시작 메뉴가 선택되면, 온라인 상으로 제공되는 시험 콘텐츠가 상기 사용자 단말의 화면에 표시되도록 제어하는 단계;
상기 사용자 단말에 장착된 상기 촬영 장치를 통해 획득된 사용자의 얼굴 영상에서 상기 사용자의 좌측 및 우측 눈 영역을 촬영하는 단계;
촬영된 상기 눈 영역 각각에서 눈동자들의 위치를 확인하는 단계;
상기 눈 영역 각각의 크기 및 상기 눈동자들의 크기를 기초하여, 상기 사용자와 상기 사용자 단말 간의 이격 거리를 산출하는 단계;
상기 눈 영역 각각의 동공의 응시각을 산출하는 단계;
상기 눈동자들의 위치 및 상기 이격 거리에 기초하여, 상기 사용자의 시선이 상기 화면 내에 위치하는지 여부를 확인하는 단계;
상기 사용자의 시선이 상기 화면 내에 위치하고 있는 상태에서, 상기 사용자의 시선이 고정되어 이동하지 않는 눈동자 체류 시간이 미리 설정된 기준 시간보다 큰 것으로 확인되면, 상기 사용자의 시선이 상기 화면 내에서 어느 지점을 주시하고 있는 것으로 결정하는 단계;
상기 눈동자들의 위치, 상기 이격 거리 및 상기 동공의 응시각에 기초하여, 상기 사용자의 시선이 상기 화면 내에서 제1 지점을 주시하고 있는 것으로 결정하는 단계;
상기 시험 콘텐츠가 표시되는 제1 영역에 상기 제1 지점이 위치하는지 여부를 확인하는 단계;
상기 사용자의 시선이 상기 제1 영역에 상기 제1 지점으로부터 미리 결정된 시간 동안 일정 회수를 벗어난다고 결정되면, 상기 사용자가 부정행위를 하고 있는 것으로 결정하는 단계;
상기 사용자가 부정행위를 하고 있는 것으로 결정하는 것에 응답하여, 상기 사용자 및 시험을 감독하는 감독자에게 경고를 위한 알림을 진행하는 단계; 및
상기 사용자가 부정행위를 하고 있는 것으로 결정하는 경우, 상기 사용자의 시선에 관한 패턴을 상기 데이터베이스에 저장하고, 상기 패턴을 부정행위의 행동습관을 결정하기 위한 머신러닝(machine learning) 모델에 입력하여 학습시키는 단계 - 상기 패턴은 상기 사용자의 시선이 상기 미리 결정된 시간 동안 상기 일정 회수를 벗어날 때의 상기 미리 결정된 시간 동안의 사용자의 시선의 움직임의 좌표를 기록하는 스탬프(stamp)를 포함함 -
를 포함하는 시선추적을 이용한 시험 부정방지 방법.
제1항에 있어서,
상기 사용자가 부정행위를 하고 있는 것으로 결정하는 단계는, 상기 사용자의 시선에 관한 패턴에 관한 학습된 상기 머신러닝에 기초하고,
상기 제1 지점을 주시하고 있는 것으로 결정하는 단계는,
상기 사용자의 얼굴 윤곽선을 추출하여 얼굴 각도 계산하는 단계; 및
상기 얼굴 윤곽선의 플롯 포인트의 거리 계산을 통한 각도를 계산하는 단계
를 더 포함하는, 시선추적을 이용한 시험 부정방지 방법.
제2항에 있어서,
상기 사용자가 부정행위를 하고 있는 것으로 결정하는 단계는,
상기 사용자의 시선 각도가 허용오차를 벗어난다고 결정하는 단계; 및
상기 사용자의 시선 각도가 상기 허용오차를 벗어나는 점프와 시선 각도가 상기 허용오차 내로 들어오는 회귀의 일련의 행동이 임계값 이상으로 반복되는 경우 상기 사용자가 부정행위를 하고 있는 것으로 결정하는 단계
를 포함하는, 시선추적을 이용한 시험 부정방지 방법.
제3항에 있어서,
상기 미리 결정된 시간 및 상기 일정 회수 각각은 가우시안 분포(Gaussian distribution)에 따르고, 상기 미리 결정된 시간 및 상기 일정 회수 각각은 평균 및 분산을 갖되, 상기 평균 및 상기 분산은 상기 머신러닝 모델에서 변수이고,
상기 머신러닝 모델은 상기 부정행위로 결정된 시선을 학습함으로써 상기 미리 결정된 시간 및 상기 일정 회수를 조정하도록 구성되는, 시선추적을 이용한 시험 부정방지 방법.
삭제
데이터베이스를 포함하는 장치에 의해 수행되는, 시선추적을 이용한 시험 부정방지 방법에 있어서,
촬영 장치를 포함하는 사용자 단말에서 사용자가 본인인증을 등록하는 단계로서,
상기 촬영 장치를 이용하여, 상기 사용자의 얼굴을 복수의 각도에서 이미지들로 스캔하는 단계 - 상기 이미지들은 폭이 최소 120 픽셀이고, 상기 복수의 각도는 상기 사용자의 얼굴 정면으로부터 좌우 30° 이내 및 상하 15° 이내임 -,
상기 이미지들을 상기 데이터베이스에 등록하는 단계,
상기 이미지들로부터 상기 사용자의 눈의 위치를 결정하는 단계,
상기 이미지들을 8비트의 컬러로 계조 변환시키는 단계,
상기 복수의 각도로 스캔된 이미지들에 기초하여, 계조 변환된 이미지들에서 얼굴의 특징점을 추출하는 단계 - 상기 얼굴의 특징점을 추출하는 단계는 상기 사용자의 얼굴의 특징부위 결정 및 부위별 특징점의 수를 특징점 추출 머신러닝 모델에 기초하여 결정하는 단계를 포함하고, 상기 얼굴의 특징점은 상기 특징점 추출 머신러닝 모델에 기초하여 30개 내지 64개의 점으로 구성됨 -, 및
상기 특징점에 기초하여, 상기 사용자의 얼굴을 3차원 특징점으로 변환하는 단계
를 포함하는, 본인인증을 등록하는 단계;
상기 사용자가 상기 사용자 단말에서 시험을 시작할 때, 상기 사용자의 얼굴을 스캔하여, 상기 사용자의 얼굴의 3차원 특징점으로 변환시키고, 상기 사용자가 상기 사용자 단말에서 시험을 시작할 때의 3차원 특징점과 상기 본인인증을 등록하는 단계에서 등록된 3차원 특징점을 비교함으로써, 상기 사용자가 시험을 응시할 때의 3차원 특징점과 상기 사용자의 등록된 상기 3차원 특징점의 유사도의 값이 임계값 이상인 경우, 상기 사용자가 본인인증을 응시자로서 수행하는 단계;
상기 사용자의 본인인증이 완료된 경우, 상기 사용자에 의해 시험 시작 메뉴가 선택되면, 온라인 상으로 제공되는 시험 콘텐츠가 상기 사용자 단말의 화면에 표시되도록 제어하는 단계;
상기 사용자 단말에 장착된 상기 촬영 장치를 통해 획득된 사용자의 얼굴 영상에서 상기 사용자의 좌측 및 우측 눈 영역을 촬영하는 단계;
촬영된 상기 눈 영역 각각에서 눈동자들의 위치를 확인하는 단계;
상기 눈 영역 각각의 크기 및 상기 눈동자들의 크기를 기초하여, 상기 사용자와 상기 사용자 단말 간의 이격 거리를 산출하는 단계;
상기 눈 영역 각각의 동공의 응시각을 산출하는 단계;
상기 눈동자들의 위치 및 상기 이격 거리에 기초하여, 상기 사용자의 시선이 상기 화면 내에 위치하는지 여부를 확인하는 단계;
상기 사용자의 시선이 상기 화면 내에 위치하고 있는 상태에서, 상기 사용자의 시선이 고정되어 이동하지 않는 눈동자 체류 시간이 미리 설정된 기준 시간보다 큰 것으로 확인되면, 상기 사용자의 시선이 상기 화면 내에서 어느 지점을 주시하고 있는 것으로 결정하는 단계;
상기 눈동자들의 위치, 상기 이격 거리 및 상기 동공의 응시각에 기초하여, 상기 사용자의 시선이 상기 화면 내에서 제1 지점을 주시하고 있는 것으로 결정하는 단계;
상기 시험 콘텐츠가 표시되는 제1 영역에 상기 제1 지점이 위치하는지 여부를 확인하는 단계;
상기 사용자의 시선이 상기 제1 영역에 상기 제1 지점으로부터 미리 결정된 시간 동안 일정 회수를 벗어난다고 결정되면, 상기 사용자가 부정행위를 하고 있는 것으로 결정하는 단계;
상기 사용자가 부정행위를 하고 있는 것으로 결정하는 것에 응답하여, 상기 사용자 및 시험을 감독하는 감독자에게 경고를 위한 알림을 진행하는 단계; 및
상기 사용자가 부정행위를 하고 있는 것으로 결정하는 경우, 상기 사용자의 시선에 관한 패턴을 상기 데이터베이스에 저장하고, 상기 패턴을 부정행위의 행동습관을 결정하기 위한 머신러닝 모델에 입력하여 학습시키는 단계 - 상기 패턴은 상기 사용자의 시선이 상기 미리 결정된 시간 동안 상기 일정 회수를 벗어날 때의 상기 미리 결정된 시간 동안의 사용자의 시선의 움직임의 좌표를 기록하는 스탬프를 포함함 -
를 포함하고,
상기 눈동자들의 위치 및 상기 이격 거리에 기초하여, 상기 사용자의 시선이 상기 화면 내에 위치하는지 여부를 확인하는 단계는,
상기 사용자의 눈 영역 각각에서 눈동자들의 위치에 기초하여 벡터 방향을 설정하는 단계;
상기 사용자와 상기 사용자 단말 간의 상기 이격 거리를 통해 벡터 크기를 설정하는 단계; 및
상기 벡터 방향 및 상기 벡터 크기에 기초하여 상기 사용자의 시선이 향하는 위치를 예측하는 단계
를 포함하는, 시선추적을 이용한 시험 부정방지 방법.
제6항에 있어서,
상기 사용자가 부정행위를 하고 있는 것으로 결정하는 단계는, 상기 사용자의 시선에 관한 패턴에 관한 학습된 상기 머신러닝에 기초하고,
상기 제1 지점을 주시하고 있는 것으로 결정하는 단계는,
상기 사용자의 얼굴 윤곽선을 추출하여 얼굴 각도 계산하는 단계; 및
상기 얼굴 윤곽선의 플롯 포인트의 거리 계산을 통한 각도를 계산하는 단계
를 더 포함하는, 시선추적을 이용한 시험 부정방지 방법.
제7항에 있어서,
상기 사용자가 부정행위를 하고 있는 것으로 결정하는 단계는,
상기 사용자의 시선 각도가 허용오차를 벗어난다고 결정하는 단계; 및
상기 사용자의 시선 각도가 상기 허용오차를 벗어나는 점프와 시선 각도가 상기 허용오차 내로 들어오는 회귀의 일련의 행동이 임계값 이상으로 반복되는 경우 상기 사용자가 부정행위를 하고 있는 것으로 결정하는 단계
를 포함하는, 시선추적을 이용한 시험 부정방지 방법.
제8항에 있어서,
상기 미리 결정된 시간 및 상기 일정 회수 각각은 가우시안 분포(Gaussian distribution)에 따르고, 상기 미리 결정된 시간 및 상기 일정 회수 각각은 평균 및 분산을 갖되, 상기 평균 및 상기 분산은 상기 머신러닝 모델에서 변수이고,
상기 머신러닝 모델은 상기 부정행위로 결정된 시선을 학습함으로써 상기 미리 결정된 시간 및 상기 일정 회수를 조정하도록 구성되는, 시선추적을 이용한 시험 부정방지 방법.
제9항에 있어서,
상기 사용자가 부정행위를 하고 있는 것으로 결정하는 것에 응답하여, 상기 사용자 및 시험을 감독하는 감독자에게 경고를 위한 알림을 진행하는 단계 이후에, 부정행위에 관한 경고를 위한 추가 1회 알람이 발생하는 경우, 추가적인 알람 이후에 상기 사용자의 시험자격이 박탈된다는 메시지가 상기 사용자에게 통지되고,
추가 1회 알람이 발생 이후에, 2회차 추가 알람이 발생하는 경우, 상기 사용자의 시험자격이 자동적으로 박탈되는, 시험 부정방지 방법.