KR102388735B1

KR102388735B1 - 메타버스 환경에서의 평가에서 이미지 데이터 처리에 기반하여 부정행위를 검출하는 방법

Info

Publication number: KR102388735B1
Application number: KR1020210129966A
Authority: KR
Inventors: 우원식
Original assignee: 주식회사 한국직무능력평가연구소
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2022-04-20

Abstract

본 발명의 일실시예에 따른, 비대면 평가를 수행하기 위한 방법은: 평가 개최자 서버에서 피험자 단말에 메타버스 환경 데이터를 송신하는 단계; 상기 피험자 단말의 디스플레이에서 상기 메타버스 환경 데이터에 기초하여, 피험자에 대응되는 이미지 객체 및 시험 환경에 대응되는 이미지 객체를 포함하는 메타버스 환경을 표시하는 단계; 상기 피험자 단말의 입력 인터페이스를 통한 사용자 입력에 의하여 상기 피험자에 대응되는 이미지 객체가 미리 결정된 위치로 이동되는 것에 기초하여, 상기 비대면 평가에 대응되는 컨텐츠를 상기 피험자 단말의 상기 디스플레이에 표시하는 단계; 상기 피험자 단말의 카메라에 의하여 영상 데이터를 획득하는 단계; 상기 피험자 단말의 오디오 입력 장치에 의하여 오디오 데이터를 획득하는 단계; 상기 피험자 단말의 통신 회로에 의하여 상기 영상 데이터 및 상기 오디오 데이터를 상기 평가 개최자 서버에 송신하는 단계; 상기 평가 개최자 서버에서, 상기 영상 데이터 및 상기 오디오 데이터에 기반하여 부정행위 의심 상황이 발생하였음을 확인하는 단계; 및 상기 평가 개최자 서버에서 상기 부정행위 의심 상황이 발생한 것에 응답하여, 상기 부정행위 의심 상황에 관한 정보를 저장하는 단계를 포함한다.

Description

메타버스 환경에서의 평가에서 이미지 데이터 처리에 기반하여 부정행위를 검출하는 방법{METHOD OF DETECTING CHEATING FOR EXAMS IN MEATVERSE ENVIRONMENT BASED ON IMAGE DATA PROCESSING}

본 발명은 메타버스 환경에서의 평가에서 이미지 데이터 처리에 기반하여 부정행위를 검출하는 방법에 관한 것이다.

최근 COVID-19의 영향으로 기업체 면접, 대학교 시험과 같은 각종 평가를 특정한 장소에서 모여서 치르지 않고 비대면으로 치르는 경우가 증가하고 있다. 비대면 시험에서는 피험자 단말에 시험 내용을 표시하고, 피험자의 응답을 텍스트 형태로 입력받거나, 복수의 선택지 중 특정 선택지를 피험자가 선택하거나, 구두로 응답하는 피험자의 영상을 획득하는 방식으로 시험이 진행될 수 있다.

한편, 메타버스 또는 확장 가상 세계는 3차원 가상세계로서, 가상세계가 현실세계에 흡수된 형태를 가진다. 메타버스에서는 현실에서와 유사하게 사회적, 경제적, 문화적 활동이 이루어질 수 있다.

종래의 대면 평가에서는 평가가 이루어지는 환경을 평가의 개최자가 통제할 수 있는 반면, 비대면 평가에서는 평가 개최자가 환경을 통제하는 데 한계가 있으므로, 평가 과정에서 부정행위의 우려가 발생할 수 있다. 비대면 평가가 메타버스 환경에서 이루어지는 경우에도 마찬가지로, 평가 개최자가 평가가 이루어지는 환경을 통제하는 데 한계가 있으므로, 평가 과정에서 부정행위의 우려가 발생할 수 있다.

본 발명의 목적은 비대면 평가에서 이미지 데이터 처리에 기반하여 부정행위를 검출하는 방법을 제공함으로써, 비대면 평가의 필요성이 대두되고 있는 현 상황에서 평가 개최자가 부정행위 우려 없이 비대면 평가를 개최할 수 있게 하는 것에 있다.

본 발명의 일실시예에 따른, 비대면 평가를 수행하기 위한 방법은: 피험자 단말의 카메라에 의하여 영상 데이터를 획득하는 단계; 상기 피험자 단말의 오디오 입력 장치에 의하여 오디오 데이터를 획득하는 단계; 상기 피험자 단말의 통신 회로에 의하여 상기 영상 데이터 및 상기 오디오 데이터를 평가 개최자 서버에 송신하는 단계; 상기 평가 개최자 서버에서, 상기 영상 데이터 및 상기 오디오 데이터에 기반하여 부정행위 의심 상황이 발생하였음을 확인하는 단계; 및 상기 평가 개최자 서버에서 상기 부정행위 의심 상황이 발생한 것에 응답하여, 상기 부정행위 의심 상황에 관한 정보를 저장하는 단계를 포함하고, 상기 평가 개최자 서버에서 상기 부정행위 의심 상황이 발생하였음을 확인하는 단계는: 상기 평가 개최자 서버에서 상기 영상 데이터를 분석하여, 상기 영상 데이터에 대응되는 영상 내에 피험자 외 다른 사람을 검출하는 단계; 상기 평가 개최자 서버에서 상기 영상 데이터를 분석하여, 상기 영상 데이터에 대응되는 영상 내에 상기 피험자가 없음을 검출하는 단계; 상기 평가 개최자 서버에서 상기 영상 데이터를 분석하여, 상기 영상 내의 상기 피험자 외의 배경의 변화를 검출하는 단계; 또는 상기 평가 개최자 서버에서 상기 음성 데이터를 분석하여, 상기 피험자 외 다른 사람의 음성을 검출하는 단계를 포함한다.

본 발명의 일실시예에 따른, 비대면 평가를 수행하기 위한 방법은, 비대면 평가에서 이미지 데이터 처리에 기반하여 부정행위를 검출하는 방법을 제공함으로써, 비대면 평가의 필요성이 대두되고 있는 현 상황에서 평가 개최자가 부정행위 우려 없이 비대면 평가를 개최하는 것에 기여할 수 있다.

도 1은 본 발명의 다양한 실시예에 따른 비대면 평가 시스템을 도시한다.
도 2는 본 발명의 다양한 실시예에 따른, 비대면 평가 시스템에 포함되는 피험자 단말의 구성요소를 도시한다.
도 3은 본 발명의 다양한 실시예에 따른, 비대면 평가를 수행하기 위한 방법을 도시한다.
도 4는 본 발명의 다양한 실시예에 따른, 비대면 평가를 수행하기 위한 방법에서 마커가 표시된 화면을 표시하는 피험자 단말의 디스플레이를 도시한다.
도 5는 본 발명의 다양한 실시예에 따른, 비대면 평가를 수행하기 위한 방법에서 테스트 텍스트가 표시된 화면을 표시하는 피험자 단말의 디스플레이를 도시한다.
도 6은 본 발명의 다양한 실시예에 따른 비대면 평가 시스템을 도시한다.

본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 본 명세서의 다양한 실시예들 및 이에 사용된 용어들은 본 명세서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 명세서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, " 연결된다"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.

본 명세서의 다양한 실시예들은 기기(machine)의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

일실시예에 따르면, 본 명세서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 단계들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 단계들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 단계들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 단계들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 단계들이 추가될 수 있다.

도 1은 본 발명의 다양한 실시예에 따른 비대면 평가 시스템을 도시한다.

도 1은 본 발명의 다양한 실시예에 따른 비대면 평가 시스템(100)을 도시한다. 도 1을 참조하면, 비대면 평가 시스템(100)은 평가 개최자 서버(110) 및 피험자 단말(120)을 포함할 수 있다.

평가 개최자 서버(110)는 피험자 단말(120)로부터 데이터를 수신하고, 수신된 데이터를 분석하여 부정행위 의심 상황이 발생하였음을 확인할 수 있다. 평가 개최자 서버(110) 및 피험자 단말(120)에서 수행되는, 비대면 평가를 수행하기 위한 방법에 대해서는 도 3을 참조하여 후술한다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 부정행위 의심 상황이 발생하였다고 확인되는 경우, 부정행위 의심 알림을 피험자 단말(120)에 전달할 수 있다. 피험자 단말(120)은 부정행위 의심 알림에 응답하여, 부정행위 의심 알림 사실을 디스플레이 상에 표시할 수 있다. 다양한 실시예에 따라서, 피험자 단말(120)은 부정행위 의심 알림에 응답하여 평가를 일시 중단할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 부정행위 의심 상황이 발생하였다고 확인되는 경우, 부정행위 의심 상황에 관한 정보를 저장할 수 있다. 다양한 실시예에 따라서, 부정행위 의심 상황에 관한 정보는 부정행위 의심 상황의 유형, 부정행위 의심 상황이 발생한 시점에 대응되는 피험자 단말(120)로부터 획득된 영상 데이터, 및 오디오 데이터 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따라서, 평가 개최자 측 관리자는 평가 개최자 서버(110)에 저장된, 부정행위 의심 상황에 관한 정보를 확인함으로써 최종적으로 부정행위가 있었는지를 검출할 수 있다. 평가 개최자 측 관리자는 평가 시간 전체에 대한 영상 데이터 및/또는 오디오 데이터를 볼 필요 없이, 부정행위 의심 상황이 발생한 시점에 대응되는 영상 데이터 및/또는 오디오 데이터를 확인하면 되므로, 평가 개최자는 적은 관리 인력으로 효율적으로 부정행위를 모니터링할 수 있다.

다양한 실시예에 따라서, 피험자 단말(120)은 다양한 형태의 장치가 될 수 있다. 피험자 단말(120)은, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 명세서의 실시예에 따른 피험자 단말(120)은 전술한 기기들에 한정되지 않는다.

도 2는 본 발명의 다양한 실시예에 따른, 비대면 평가 시스템에 포함되는 피험자 단말의 구성요소를 도시한다.

도 2를 참조하면 피험자 단말(120)은 카메라(210), 디스플레이(220), 프로세서(230), 통신 회로(240), 입력 인터페이스(250), 오디오 입력 장치(260), 오디오 출력 장치(270), 및 메모리(280)를 포함할 수 있다.

다양한 실시예에 따라서, 피험자 단말(120)에 포함되는 카메라(210)의 종류 및 개수는 제한되지 않는다. 본 명세서에서 카메라(210)에 의하여 영상 데이터를 획득한다는 것은 하나 또는 복수의 카메라(210)에 의하여 영상 데이터를 획득한다는 것을 의미할 수 있다.

다양한 실시예에 따라서, 피험자 단말(120)에 포함되는 디스플레이(220)의 종류 및 개수는 제한되지 않으며, 디스플레이(220)는 모니터, TV, 또는 터치 스크린 중 적어도 하나를 포함할 수 있다.

프로세서(230)는 통신 회로(240)를 통하여 수신된 데이터, 피험자 단말(120)에 포함되는 다른 구성요소(예를 들어, 디스플레이(220), 입력 인터페이스(250), 및 오디오 입력 장치(270))를 통하여 획득된 데이터, 및/또는 메모리(280)에 저장된 데이터에 기초하여 연산을 수행하고, 연산의 결과의 적어도 일부를 통신 회로(240)를 통하여 다른 전자 장치에 송신하거나, 메모리(280)에 저장하거나, 연산의 결과에 기초하여 피험자 단말(120)에 포함되는 다른 구성요소(예를 들어, 디스플레이(220), 및 오디오 출력 장치(260))를 제어할 수 있다.

통신 회로(240)는 다른 전자 장치에 정보를 송신하거나 다른 전자 장치로부터 정보를 수신할 수 있고, 통신 회로(240)가 지원하는 통신의 종류는 제한되지 않는다.

입력 인터페이스(250)는 피험자에 의하여 이루어지는 입력을 확인할 수 있다. 다양한 실시예에 따라서, 입력 인터페이스(250)는 피험자 단말(120)과 연결 및 분리가 가능한 외부 입력 장치를 더 포함할 수 있다. 예를 들어, 입력 인터페이스(250)는 마우스, 키보드, 및/또는 터치 스크린을 포함할 수 있다.

다양한 실시예에 따라서, 오디오 입력 장치(260)는 피험자 주변의 소리에 기초하여 오디오 데이터를 생성할 수 있다. 다양한 실시예에 따라서, 오디오 입력 장치(260)는 피험자 단말(120)에 내장된 마이크이거나, 피험자 단말(120)과 연결 및 분리가 가능한 외부 마이크일 수 있다.

다양한 실시예에 따라서, 오디오 출력 장치(270)는 프로세서(230)로부터의 오디오 출력 신호에 기초하여 소리를 출력할 수 있다. 다양한 실시예에 따라서, 오디오 출력 장치(270)는 피험자 단말(120)에 내장된 스피커이거나, 피험자 단말(120)과 연결 및 분리가 가능한 외부 스피커일 수 있다.

도 3은 본 발명의 다양한 실시예에 따른, 비대면 평가를 수행하기 위한 방법을 도시한다.

310 단계에서, 평가 개최자 서버(110)는 피험자 단말(120)에 메타버스 환경 데이터를 송신할 수 있다. 메타버스 환경 데이터는 피험자 단말(120)에서 메타버스 환경을 표시하기 위하여 필요한 데이터일 수 있다.

320 단계에서, 피험자 단말(120)은 메타버스 환경 데이터에 기초하여 피험자에 대응되는 이미지 객체 및 평가 환경에 대응되는 이미지 객체를 포함하는 메타버스 환경을 디스플레이(220) 상에 표시할 수 있다. 다양한 실시예에 따라서, 피험자에 대응되는 이미지 객체는 피험자에 대응되는 아바타일 수 있다.

다양한 실시예에 따라서, 평가 환경에 대응되는 이미지 객체들은 종래의 평가 장소(예를 들어, 면접장 또는 학교 시험장 등)와 유사한 환경을 표현하는 다양한 이미지 객체들을 포함할 수 있다. 예를 들어, 평가 환경에 대응되는 이미지 객체들은 안내 표지판, 면접 대기실, 및/또는 다수의 컴퓨터가 있는 CBT(computer-based test) 평가장을 표현할 수 있다.

다양한 실시예에 따라서, 피험자 단말(120)의 입력 인터페이스(250)를 통한 피험자의 입력에 따라서, 피험자에 대응되는 이미지 객체는 메타버스 환경 내를 이동할 수 있다.

330 단계에서, 피험자 단말(120)의 입력 인터페이스(250)를 통한 피험자의 입력에 의하여 피험자에 대응되는 이미지 객체가 미리 결정된 위치로 이동되는 것에 기초하여, 피험자 단말(120)의 프로세서(230)는 비대면 평가에 대응되는 컨텐츠를 표시하도록 디스플레이(220)를 제어할 수 있다.

다양한 실시예에 따라서, 미리 결정된 위치는 메타버스 환경이 표현하는 평가 환경에서 피험자가 평가를 수행할 때 위치하는 장소에 대응될 수 있다. 예를 들어, 메타버스 환경이 기업 면접장을 표현하는 경우, 미리 결정된 위치는 메타버스 환경이 표현하는 면접장 복도 중 면접실 문이거나, 면접실 내 면접자 좌석일 수 있다.

다양한 실시예에 따라서, 비대면 평가에 대응되는 컨텐츠는 미리 설정된 시험 문항일 수 있다. 다양한 실시예에 따라서, 비대면 평가에 대응되는 컨텐츠는 실질적인 평가를 진행하기 전 수행되는 신분 확인을 위한 사용자 인터페이스일 수 있다. 다양한 실시예에 따라서, 비대면 영상 면접을 수행하고자 하는 경우, 비대면 평가에 대응되는 컨텐츠는 면접관들의 실시간 영상일 수 있다.

340 동작에서, 피험자 단말(120)의 프로세서(230)는 카메라(210)에 의하여 영상 데이터를 획득하고, 오디오 입력 장치(270)에 의하여 오디오 데이터를 획득할 수 있다. 영상 데이터는 피험자를 촬영한 영상일 수 있다.

350 동작에서, 피험자 단말(120)의 프로세서(230)는 통신 회로(240)를 통하여 영상 데이터 및 오디오 데이터를 평가 개최자 서버(110)에 송신할 수 있다.

360 동작에서, 평가 개최자 서버(110)는 영상 데이터 및 오디오 데이터에 기반하여 부정행위 의심 상황이 발생하였음을 확인할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 영상 데이터에 대한 객체 분석을 수행하고, 영상에 포함되는 다양한 객체들 중 피험자 외의 다른 사람이 검출되는 경우 부정행위 의심 상황이 발생하였다고 확인할 수 있다. 다양한 실시예에 따라서, 평가 개최자 서버(110)는 인공지능 모델에 기반하여 영상 데이터에 대한 객체 분석을 수행할 수 있다. 다양한 실시예에 따라서, 객체 분석을 위한 인공지능 모델을 생성하기 위한 학습 방법은 제한되지 않는다. 예를 들어, 객체 분석을 위한 인공지능 모델은 다양한 머신 러닝 기법에 의하여 생성될 수 있다. 예를 들어, RNN(Recurrent Neural Network), CNN(Convolution Neural Network), ANN(Artificial Neural Network), 및 트랜스포머 모델 중 적어도 하나가 객체 분석을 위한 인공지능 모델의 생성을 위한 학습에 이용될 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 영상 데이터에 대한 객체 분석을 수행하고, 피험자가 없음이 검출되는 경우 부정행위 의심 상황이 발생하였다고 확인할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 영상 데이터에 대한 객체 분석을 수행하고, 영상에 포함되는 다양한 객체들 중 피험자 외의 다른 객체의 움직임이 검출되는 경우, 부정행위 의심 상황이 발생하였다고 확인할 수 있다. 영상에 포함되는 다양한 객체들 중 피험자 외의 다른 객체는 시험에서의 배경 환경이라고 생각할 수 있으므로, 배경을 구성하는 물건의 움직임을 부정행위 의심 상황으로 분류할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 피험자 외의 다른 객체들 중 미리 결정된 특정 종류의 객체들에 대해서는 움직임이 있더라도 부정행위 의심 상황으로 분류하지 않을 수 있다. 예를 들어, 평가 개최자 서버(110)는 필기도구나 실내 나뭇잎과 같은 객체들에 대해서는 움직임이 감지되더라도 부정행위 의심 상황으로 분류하지 않을 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 배경을 구성하는 물건의 움직임이 일정 수준 이상이어야 부정행위 의심 상황으로 분류할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 오디오 데이터를 분석하고, 피험자 외 다른 사람의 음성이 검출되는 경우 부정행위 의심 상황이 발생하였다고 확인할 수 있다. 다양한 실시예에 따라서, 평가 개최자 서버(110)는 평가를 실질적으로 시작하기 전에 피험자의 음성 데이터를 획득하고, 획득된 음성 데이터의 특징들을 추출한 후, 평가가 진행되는 동안 획득되는 오디오 데이터에서 미리 추출된 특징과 상이한 음성이 검출되는지 여부를 확인할 수 있다.

다양한 실시예에 따라서, 평가를 실질적으로 시작하기 전에 피험자 단말(120)의 디스플레이(220) 상에는 디스플레이(220)의 테두리를 따라 움직이는 마커가 표시될 수 있다. 마커가 표시된 디스플레이(220)의 예시가 도 4에 도시된다. 도 4를 참조하면, 디스플레이 화면(400)의 테두리 영역(410)을 시계 방향 또는 반시계 방향으로 도는 마커(430)가 표시될 수 있다. 도 4에서 점선(420)은 테두리 영역(410)을 도시하기 위한 수단에 불과하고, 다양한 실시예에 따라서 디스플레이(220) 상에는 점선(420)이 실제로 표시되지는 않을 수 있다. 도 4에 도시되지는 않았으나, 마커가 표시되는 동안 또는 마커가 표시되기 전에 피험자 단말(120)은 움직이는 마커를 쳐다보라는 안내를 피험자에게 제공할 수 있다.

피험자 단말(120)의 프로세서(230)는 카메라(210)를 통하여 마커가 표시되는 동안의 영상을 촬영하여 마커 영상 데이터를 획득하고, 통신 회로(240)를 통하여 마커 영상 데이터를 평가 개최자 서버(110)에 송신할 수 있다. 평가 개최자 서버(110)는 마커 영상 데이터를 분석하여 마커가 움직이는 동안의 피험자의 시선의 각도 범위를 결정할 수 있다. 평가 개최자 서버(110)는 마커가 움직이는 동안의 피험자의 시선 각도 범위를 표준 시선 각도 범위로 정의할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 마커가 움직이는 속도를 달리하면서 복수 개의 마커 영상 데이터를 획득하고, 마커 영상 데이터에 기초하여 확인된 피험자의 시선 각도의 변화 속도가 마커가 움직이는 속도에 대응되게 변화하는지 여부에 따라 복수 개의 마커 영상 데이터의 신뢰도를 확인할 수 있다.

다시 360 단계로 돌아와서, 평가 개최자 서버(110)는 평가가 진행되는 동안 획득된 영상 데이터를 분석하여 평가가 진행되는 동안 피험자의 시선 각도가 표준 시선 각도 범위 내에 있는지 여부를 확인할 수 있다. 평가 개최자 서버(110)는 350 단계에서 획득된 영상 데이터에 기초하여 결정된 피험자의 시선 각도가 표준 시선 각도 범위를 벗어나는 경우 부정행위 의심 상황이 발생하였다고 확인할 수 있다.

다양한 실시예에 따라서, 360 단계에서는 영상 데이터 및 오디오 데이터 외에 다른 다양한 데이터가 부정행위 의심 상황을 모니터링하는 데 사용될 수 있다. 예를 들어, 평가 개최자 서버(110)는 사용자 단말(120)로부터 사용자 단말(120)에서 실행되고 있는 프로그램의 전체 리스트를 주기적으로 수신할 수 있고, 프로그램 리스트 내에 미리 결정된 특정 프로그램이 포함된 경우 부정행위 의심 상황이라고 확인할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 사용자 단말(120)로부터 사용자 단말(120)에서 실행되고 있는 프로그램의 전체 리스트를 최초 한 번만 수신하고, 프로그램 리스트 내에 미리 결정된 특정 프로그램이 포함되지 않았다고 확인되면 사용자 단말(120)에 대한 원격 제어 권한을 획득하여, 비대면 평가가 진행되는 동안 사용자 단말(120)에서 다른 프로그램이 새롭게 실행되는 것을 방지할 수 있다.

예를 들어, 평가 개최자 서버(110)는 사용자 단말(120)로부터, 비대면 평가를 진행하기 위한 프로그램이 전체 화면으로 표시되고 있는지 여부를 주기적으로 수신하고, 평가를 진행하기 위한 프로그램이 전체 화면으로 표시되고 있지 않은 경우 부정행위 의심 상황이라고 확인할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 사용자 단말(120)로부터 평가를 진행하기 위한 프로그램이 전체 화면으로 표시되고 있는지 여부를 최초 한 번만 수신하고, 평가를 진행하기 위한 프로그램이 전체 화면으로 표시되고 있다고 확인되면 사용자 단말(120)에 대한 원격 제어 권한을 획득하여, 비대면 평가가 진행되는 동안 평가를 진행하기 위한 프로그램이 계속해서 전체 화면으로 표시되도록 제어할 수 있다.

예를 들어, 사용자 단말(120)이 모바일 단말인 경우, 평가 개최자 서버(110)는 비대면 평가를 진행하기 위한 어플리케이션이 백그라운드에서 실행되고 있는지 아니면 포어그라운드(foreground)에서 실행되고 있는지를 주기적으로 수신하고, 비대면 평가를 진행하기 위한 어플리케이션이 백그라운드에서 실행되는 경우 부정행위 의심 상황이라고 확인할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 평가를 진행하기 위한 어플리케이션이 포어그라운드(foreground)에서 실행되고 있음을 최초 한 번만 확인하고, 그 후 사용자 단말(120)에 대한 원격 제어 권한을 획득하여, 비대면 평가가 진행되는 동안 평가를 진행하기 위한 어플리케이션이 계속해서 포어그라운드에서 실행되도록 제어할 수 있다.

예를 들어, 사용자 단말(120)이 터치스크린을 포함하는 경우, 사용자 단말(120)은 터치센서의 센서값을 평가 개최자 서버(110)에 주기적으로 송신하고, 평가 개최자 서버(110)는 센서값을 분석하여 손가락 외의 다른 물체(예를 들어, 종이)가 터치스크린에 인접하였다고 판단되면 부정행위 의심 상황이라고 확인할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 터치센서의 센서값을 분석하여 다양한 물체가 인접한 상황을 판단하기 위한 인공지능 모델을 포함하고, 인공지능 모델에 기반하여 어떤 물체가 터치스크린에 인접하였는지를 판단할 수 있다. 물체가 인접한 상황을 판단하기 위한 인공지능 모델을 생성하기 위한 학습 방법은 제한되지 않는다. 예를 들어, 물체가 인접한 상황을 판단하기 위한 인공지능 모델은 다양한 머신 러닝 기법에 의하여 생성될 수 있다. 예를 들어, RNN(Recurrent Neural Network), CNN(Convolution Neural Network), ANN(Artificial Neural Network), 및 트랜스포머 모델 중 적어도 하나가 물체가 인접한 상황을 판단하기 위한 인공지능 모델의 생성을 위한 학습에 이용될 수 있다.

370 동작에서, 평가 개최자 서버(110)는 부정행위 의심 상황이 발생하였다고 확인됨에 응답하여, 부정행위 의심 상황에 관한 정보를 저장할 수 있다. 다양한 실시예에 따라서, 부정행위 의심 상황에 관한 정보는 부정행위 의심 상황이 발생한 시간에 관한 정보, 피험자에 관한 정보, 확인된 부정행위 의심 상황의 유형, 및 부정행위 의심 상황이 확인되는 데 근거가 된 데이터(예를 들어, 부정행위 의심 상황으로 확인된 시점 전후의 영상 데이터, 오디오 데이터, 피험자 단말에서 실행된 것으로 검출된 프로그램의 리스트, 및/또는 피험자 단말 상에 표시된 화면을 나타내는 데이터)를 포함할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 부정행위 의심 상황 중 평가 관리자에 의하여 실제로 부정행위로 판정되는 빈도를 부정행위 의심 상황의 유형별로 산출할 수 있다. 평가 개최자 서버(110)는 평가가 진행되는 동안 발생한 부정행위 의심 상황의 횟수, 유형, 및 유형별 실제로 부정행위로 판정되는 빈도에 기초하여 평가가 진행된 전체 시간에 대하여 부정행위 확률 점수를 산출할 수 있다.

다양한 실시예에 따라서, 도 3에 도시된 단계들 중 일부는 생략될 수 있다. 다양한 실시예에 따라서, 상술한 단계들 중 메타버스 환경을 제공하기 위한 단계들이 수행되지 않고 비대면 평가가 수행될 수 있다. 즉, 310 단계, 320 단계, 및 330 단계가 생략되고, 단순히 비대면 평가 컨텐츠가 표시되는 동안 340 동작이 수행될 수 있다.

도 5는 본 발명의 다양한 실시예에 따른, 비대면 평가를 수행하기 위한 방법에서 테스트 텍스트가 표시된 화면을 표시하는 피험자 단말의 디스플레이를 도시한다.

다양한 실시예에 따라서, 실질적인 평가가 시작되기 전에, 피험자 단말(120)의 디스플레이(220)의 화면(500)의 복수의 영역(511, 512, 513, 520) 중 한 영역(520)에 테스트 텍스트(530)가 표시될 수 있다. 도 5의 점선들은 복수의 영역을 도시하려는 의도로서, 실제로 디스플레이(220) 상에 표시되는 구성은 아니다. 테스트 텍스트(530)가 표시되는 영역(520) 및 테스트 텍스트(530)의 내용은 평가 개최자 서버(110)에서 피험자 단말(120)에 송신한 데이터에 기초하여 결정될 수 있다.

테스트 텍스트(530)가 표시되는 동안, 피험자 단말(120)의 프로세서(230)는 오디오 입력 장치(270)를 통하여 테스트 오디오 데이터를 획득하고, 테스트 오디오 데이터를 평가 개최자 서버(110)에 송신할 수 있다. 평가 개최자 서버(110)는 테스트 오디오 데이터가 테스트 텍스트(530)에 대응되는지를 확인할 수 있다.

테스트 오디오 데이터가 테스트 텍스트(530)에 대응되지 않는다고 확인되는 경우, 평가 개최자 서버(110)는 부정행위 의심 상황이 발생했다고 판정하고, 피험자 단말(120)에 영상 데이터 요청을 송신할 수 있다. 피험자 단말(120)은 영상 데이터 요청에 응답하여 카메라(210)를 통하여 테스트 영상 데이터를 획득하여 평가 개최자 서버(110)에 전송할 수 있다. 평가 개최자 서버(110)는 테스트 영상 데이터를 부정행위 의심 상황에 관한 정보로서 저장할 수 있다.

도 6은 본 발명의 다양한 실시예에 따른 비대면 평가 시스템을 도시한다. 비대면 평가 시스템(600)은 평가 개최자 서버(110), 제1 피험자 단말(620), 및 제2 피험자 단말(630)을 포함할 수 있다. 평가 개최자 서버(110) 및 제1 피험자 단말(620)은 상술한 다양한 실시예에 따른 비대면 평가를 수행할 수 있다. 제2 피험자 단말(630)은 도 2에 도시된 구성요소들을 포함할 수 있다.

다양한 실시예에 따라서, 제2 피험자 단말(630)은 비대면 평가가 진행되는 동안 제1 피험자 단말(620)의 디스플레이 상의 화면을 포함하는 제2 영상 데이터를 획득하여 평가 개최자 서버(110)에 송신할 수 있다. 또한, 비대면 평가가 진행되는 동안 평가 개최자 서버(110)는 제1 피험자 단말(620)의 디스플레이 상에 표시될 표시자에 관한 정보를 제1 피험자 단말(620)에 제공할 수 있다. 표시자는 제1 피험자 단말(620)의 디스플레이에서 피험자에게 인식되지 않는 빈도 및 지속 시간동안(예를 들어, 매 1초마다 1/60초동안 한 번 표시)로 표시되고, 표시자가 표시되는 제1 피험자 단말(620)의 디스플레이 화면을 포함하는 영상이 제2 피험자 단말(630)에 의하여 획득되어 평가 개최자 서버(110)에 송신될 수 있다. 다양한 실시예에 따라서, 평가 개최자 서버(110)는 제2 피험자 단말(630)의 카메라의 프레임 속도 정보를 제2 피험자 단말(630)로부터 수신하고, 제2 피험자 단말(630)의 카메라가 캡쳐할 수 있도록 표시자가 표시되는 지속 시간을 결정하여 제1 피험자 단말(620)에 전달할 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 제2 영상 데이터에 기초하여 제1 피험자 단말(620)의 디스플레이 화면 전체 크기 대비 표시자의 크기, 표시자가 정상적으로 표시되고 있는지 여부를 확인하고, 이에 기초하여 디스플레이 화면 전체 크기 대비 표시자의 크기가 작거나, 표시자의 일부가 피험자 외의 다른 객체에 의하여 가려져 있거나, 표시자가 정상적으로 표시되고 있지 않은 경우에 부정행위 의심 상황이 발생한 것으로 판단할 수 있다.

다양한 실시예에 따라서, 표시자는 피험자가 위조할 수 없도록 피험자에 관한 정보 및/또는 진행되는 평가에 관한 정보를 인코딩함으로써 결정될 수 있다.

다양한 실시예에 따라서, 평가 개최자 서버(110)는 오디오 데이터에 기초하여 피험자가 말하고 있는지 여부를 결정하고, 피험자가 말하고 있는 동안에만 표시자가 제1 피험자 단말(620) 상에 표시되도록, 피험자가 말하고 있는 동안에만 제1 피험자 단말(620)에 표시자를 표시하라는 신호를 송신하고, 피험자가 말하고 있는 동안에만 제2 영상 데이터를 획득하라는 신호를 제2 피험자 단말(630)에 송신할 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims

비대면 평가를 수행하기 위한 방법에 있어서:
평가 개최자 서버에서 피험자 단말에 메타버스 환경 데이터를 송신하는 단계;
상기 피험자 단말의 디스플레이에서 상기 메타버스 환경 데이터에 기초하여, 피험자에 대응되는 이미지 객체 및 평가 환경에 대응되는 이미지 객체를 포함하는 메타버스 환경을 표시하는 단계;
상기 피험자 단말의 입력 인터페이스를 통한 사용자 입력에 의하여 상기 피험자에 대응되는 이미지 객체가 미리 결정된 위치로 이동되는 것에 기초하여, 상기 비대면 평가에 대응되는 컨텐츠를 상기 피험자 단말의 상기 디스플레이에 표시하는 단계;
상기 비대면 평가가 시작되기 전에, 상기 피험자 단말의 디스플레이의 테두리를 따라 움직이는 마커를 표시하는 단계;
상기 마커가 표시되는 동안 상기 피험자 단말의 카메라에 의하여 마커 영상 데이터를 획득하는 단계;
상기 피험자 단말의 통신 회로에 의하여 상기 마커 영상 데이터를 상기 평가 개최자 서버에 송신하는 단계; 및
상기 평가 개최자 서버에서, 상기 마커 영상 데이터에 기반하여 상기 피험자의 표준 시선 각도 범위를 결정하는 단계;
상기 비대면 평가가 진행되는 동안, 상기 피험자 단말의 상기 카메라에 의하여 영상 데이터를 획득하는 단계;
상기 비대면 평가가 진행되는 동안, 상기 피험자 단말의 오디오 입력 장치에 의하여 오디오 데이터를 획득하는 단계;
상기 피험자 단말의 통신 회로에 의하여 상기 영상 데이터 및 상기 오디오 데이터를 상기 평가 개최자 서버에 송신하는 단계;
상기 평가 개최자 서버에서, 상기 영상 데이터 및 상기 오디오 데이터에 기반하여 부정행위 의심 상황이 발생하였음을 확인하는 단계; 및
상기 평가 개최자 서버에서 상기 부정행위 의심 상황이 발생한 것에 응답하여, 상기 부정행위 의심 상황에 관한 정보를 저장하는 단계를 포함하고,
상기 평가 개최자 서버에서 상기 부정행위 의심 상황이 발생하였음을 확인하는 단계는, 상기 평가 개최자 서버에서 상기 영상 데이터를 분석하여, 상기 피험자의 시선 각도가 상기 표준 시선 각도를 벗어남을 검출하는 단계를 포함하는,
비대면 평가를 수행하기 위한 방법.
제1항에 있어서,
상기 피험자 단말의 디스플레이의 테두리를 따라 움직이는 마커를 표시하는 단계는, 제1 속도로 상기 테두리를 따라 움직이는 제1 마커를 표시하는 단계 및 상기 제1 속도와 상이한 제2 속도로 상기 테두리를 따라 움직이는 제2 마커를 표시하는 단계를 포함하고,
상기 마커가 표시되는 동안 상기 피험자 단말의 카메라에 의하여 마커 영상 데이터를 획득하는 단계는, 상기 제1 마커가 표시되는 동안 제1 마커 영상 데이터를 획득하는 단계 및 상기 제2 마커가 표시되는 동안 제2 마커 영상 데이터를 획득하는 단계를 포함하고,
상기 방법은:
상기 평가 개최자 서버에서 상기 제1 마커 영상 데이터에 기초하여 상기 피험자의 시선 각도의 제1 이동 속도를 확인하는 단계;
상기 평가 개최자 서버에서 상기 제2 마커 영상 데이터에 기초하여 상기 피험자의 시선 각도의 제2 이동 속도를 확인하는 단계; 및
상기 평가 개최자 서버에서 상기 제1 속도, 상기 제2 속도, 상기 제1 이동 속도, 및 상기 제2 이동 속도에 기초하여, 상기 제1 마커 영상 데이터 및 상기 제2 마커 영상 데이터의 신뢰도를 확인하는 단계
를 더 포함하는, 비대면 평가를 수행하기 위한 방법.
비대면 평가를 수행하기 위한 방법에 있어서:
상기 비대면 평가가 시작되기 전에, 피험자 단말의 디스플레이의 테두리를 따라 움직이는 마커를 표시하는 단계;
상기 마커가 표시되는 동안 상기 피험자 단말의 카메라에 의하여 마커 영상 데이터를 획득하는 단계;
상기 피험자 단말의 통신 회로에 의하여 상기 마커 영상 데이터를 상기 평가 개최자 서버에 송신하는 단계; 및
상기 평가 개최자 서버에서, 상기 마커 영상 데이터에 기반하여 상기 피험자의 표준 시선 각도 범위를 결정하는 단계
상기 비대면 평가가 진행되는 동안, 상기 피험자 단말의 상기 카메라에 의하여 영상 데이터를 획득하는 단계;
상기 피험자 단말의 오디오 입력 장치에 의하여 오디오 데이터를 획득하는 단계;
상기 피험자 단말의 통신 회로에 의하여 상기 영상 데이터 및 상기 오디오 데이터를 평가 개최자 서버에 송신하는 단계;
상기 평가 개최자 서버에서, 상기 영상 데이터 및 상기 오디오 데이터에 기반하여 부정행위 의심 상황이 발생하였음을 확인하는 단계; 및
상기 평가 개최자 서버에서 상기 부정행위 의심 상황이 발생한 것에 응답하여, 상기 부정행위 의심 상황에 관한 정보를 저장하는 단계를 포함하고,
상기 평가 개최자 서버에서 상기 부정행위 의심 상황이 발생하였음을 확인하는 단계는:
상기 평가 개최자 서버에서 상기 영상 데이터를 분석하여, 상기 영상 데이터에 대응되는 영상 내에 피험자 외 다른 사람을 검출하는 단계;
상기 평가 개최자 서버에서 상기 영상 데이터를 분석하여, 상기 영상 데이터에 대응되는 영상 내에 상기 피험자가 없음을 검출하는 단계;
상기 평가 개최자 서버에서 상기 영상 데이터를 분석하여, 상기 영상 내의 상기 피험자 외의 배경의 움직임을 검출하는 단계;
상기 평가 개최자 서버에서 상기 오디오 데이터를 분석하여, 상기 피험자 외 다른 사람의 음성을 검출하는 단계; 또는
상기 평가 개최자 서버에서 상기 영상 데이터를 분석하여, 상기 피험자의 시선 각도가 상기 표준 시선 각도를 벗어남을 검출하는 단계
를 포함하는, 비대면 평가를 수행하기 위한 방법.
제3항에 있어서,
상기 피험자 단말의 디스플레이의 테두리를 따라 움직이는 마커를 표시하는 단계는, 제1 속도로 상기 테두리를 따라 움직이는 제1 마커를 표시하는 단계 및 상기 제1 속도와 상이한 제2 속도로 상기 테두리를 따라 움직이는 제2 마커를 표시하는 단계를 포함하고,
상기 마커가 표시되는 동안 상기 피험자 단말의 카메라에 의하여 마커 영상 데이터를 획득하는 단계는, 상기 제1 마커가 표시되는 동안 제1 마커 영상 데이터를 획득하는 단계 및 상기 제2 마커가 표시되는 동안 제2 마커 영상 데이터를 획득하는 단계를 포함하고,
상기 방법은:
상기 평가 개최자 서버에서 상기 제1 마커 영상 데이터에 기초하여 상기 피험자의 시선 각도의 제1 이동 속도를 확인하는 단계;
상기 평가 개최자 서버에서 상기 제2 마커 영상 데이터에 기초하여 상기 피험자의 시선 각도의 제2 이동 속도를 확인하는 단계; 및
상기 평가 개최자 서버에서 상기 제1 속도, 상기 제2 속도, 상기 제1 이동 속도, 및 상기 제2 이동 속도에 기초하여, 상기 제1 마커 영상 데이터 및 상기 제2 마커 영상 데이터의 신뢰도를 확인하는 단계
를 더 포함하는, 비대면 평가를 수행하기 위한 방법.
제3항에 있어서,
상기 방법은:
상기 비대면 평가가 시작되기 전에, 상기 피험자 단말의 디스플레이의 복수의 영역 중 제1 영역에 제1 테스트 텍스트를 표시하는 단계;
상기 제1 테스트 텍스트가 표시되는 동안 상기 피험자 단말의 상기 오디오 입력 장치에 의하여 제1 테스트 오디오 데이터를 획득하는 단계;
상기 피험자 단말의 통신 회로에 의하여 상기 제1 테스트 오디오 데이터를 상기 평가 개최자 서버에 송신하는 단계;
상기 평가 개최자 서버에서, 상기 제1 테스트 오디오 데이터를 분석하여, 상기 제1 테스트 오디오 데이터가 상기 제1 테스트 텍스트에 대응되는지 여부를 결정하는 단계;
상기 평가 개최자 서버에서, 상기 제1 테스트 오디오 데이터가 상기 제1 테스트 텍스트에 대응되지 않는다고 결정됨에 응답하여, 상기 피험자 단말에 영상 데이터 요청을 송신하는 단계;
상기 피험자 단말에서, 상기 영상 데이터 요청에 응답하여 상기 카메라를 통하여 제1 테스트 영상 데이터를 획득하는 단계;
상기 피험자 단말의 통신 회로에 의하여 상기 제1 테스트 영상 데이터를 상기 평가 개최자 서버에 송신하는 단계; 및
상기 평가 개최자 서버에서 상기 제1 테스트 영상 데이터를 상기 부정행위 의심 상황에 관한 정보로서 저장하는 단계를 더 포함하는, 비대면 평가를 수행하기 위한 방법.