KR20210012500A - 면접영상 자동평가모델을 학습시키는 방법, 시스템 및 컴퓨터-판독가능 매체 - Google Patents

Abstract

본 발명은 면접영상 자동평가모델을 학습시키는 방법, 시스템 및 컴퓨터-판독가능 매체 에 관한 것으로서, 더욱 상세하게는 피평가자의 영상에 대하여 기계학습을 이용한 평가모델을 통하여 피평가자에게 면접스킬을 향상할 수 있는 피드백을 자동적으로 주는 시스템에 있어서, 학습데이터를 제공하는 평가자의 바이어스의 영향을 최대한 줄이면서 평가모델을 학습시킬 수 있는, 면접영상 자동평가모델을 학습시키는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것이다.

Description

면접영상 자동평가모델을 학습시키는 방법, 시스템 및 컴퓨터-판독가능 매체 {Interview Automatic Evaluation Model Learning Method, System and Computer-readable Medium}

본 발명은 면접영상 자동평가모델을 학습시키는 방법, 시스템 및 컴퓨터-판독가능 매체 에 관한 것으로서, 더욱 상세하게는 피평가자의 영상에 대하여 기계학습을 이용한 평가모델을 통하여 피평가자에게 면접스킬을 향상할 수 있는 피드백을 자동적으로 주는 시스템에 있어서, 학습데이터를 제공하는 평가자의 바이어스의 영향을 최대한 줄이면서 평가모델을 학습시킬 수 있는, 면접영상 자동평가모델을 학습시키는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것이다.

면접은 일반적으로 면접을 통해 평가를 받는 면접자 및 면접자에 대한 평가를 수행하는 면접관으로 구성되며, 면접관의 질문과 면접자의 답변으로 진행되며 전체 질의응답에 대한 종합평가로 이루어진다.

면접은 질문 및 응답을 통해 면접자의 전문지식, 전문기술 혹은 정보활용능력 등의 하드 스킬(hard skill) 뿐만 아니라 면접자의 태도, 의사소통 능력 등의 소프트 스킬(soft skill) 을 파악하는 것을 목적으로 한다.

한편, 많은 취업 준비생들이 면접 준비를 하고 있지만, 이에 대한 객관적인 평가 결과를 제공하기는 어려운 실정이고, 특히 소프트 스킬의 경우에는 다양한 면접관으로서의 경험이 있는 평가자만이 바른 평가를 내릴 수 있으며, 또한 현실적으로 오프라인에서 타인의 소프트 스킬적인 부분에 대해 지적을 하기는 어렵다.

또한, 소프트 스킬은 면접관의 주관적 경험과 직관에 따라 다르게 판단되는 영역으로서, 면접관에 따라 평가 기준 및 평가 방법 등이 달라질 수 있다. 이와 같이 면접관의 주관에 따라 달라지는 평가 방법에 의해 면접자의 소프트 스킬이 객관적으로 평가되기 어려운 문제가 있다.

또한, 소프트 스킬의 경우에는 다양한 요소가 존재하며, 이에 대한 결과를 제공하는 방식도 매우 중요하다. 단순히 외향적이다 혹은 내향적이다 정도의 평가가 아닌 면접준비자가 자신이 전체적으로 부족한 부분을 세부적으로 파악할 수 있는 것이 필요하다. 또한, 면접 중에 어느 시점에서 부족함이 있었는지를 파악하는 것이 필요하다.

본 발명은 피평가자의 영상에 대하여 기계학습을 이용한 평가모델을 통하여 피평가자에게 면접스킬을 향상할 수 있는 피드백을 자동적으로 주는 시스템에 있어서, 학습데이터를 제공하는 평가자의 바이어스의 영향을 최대한 줄이면서 평가모델을 학습시킬 수 있는, 면접영상 자동평가모델을 학습시키는 방법, 시스템 및 컴퓨터-판독가능 매체을 제공하는 것을 목적으로 한다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 서버 시스템에서 수행되고, 피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 학습시키는 방법으로서, 기설정된 질문세트 중 1 이상의 질문정보를 사용자단말기에 송신하고, 상기 사용자단말기로부터 상기 질문정보에 응답을 수행한 면접영상을 수신하여 저장하는 면접영상저장단계; 기계학습을 이용한 평가모델을 통하여 상기 면접영상에 대한 자동평가정보를 생성하는 면접영상평가단계; 해당 면접영상에 대하여 복수의 평가자의 평가정보를 수집하는 평가정보수집단계; 상기 복수의 평가자의 평가정보로부터 복수의 평가자에 대한 신뢰도정보를 산출하는 신뢰도산출단계; 및 산출된 상기 신뢰도정보 및 상기 평가정보를 이용하여 상기 평가모델을 학습하는 평가모델학습단계;를 포함하는, 평가모델을 학습시키는 방법을 제공한다.

본 발명의 일 실시예에서는, 상기 평가모델을 학습시키는 방법은, 상기 면접영상의 촬영자가 지원하고자 하는 지원기관의 사용자단말기에 대하여, 해당 면접영상에 대하여 상기 평가모델에 기초하여 자동적인 평가결과를 제공하는 평가결과제공단계를 포함하고, 상기 서버 시스템은 각각의 지원기관에 따른 각각의 평가모델을 포함하고, 상기 평가모델학습단계에서는, 상기 평가모델은 상기 지원기관에 상응하는 평가자의 평가정보에 의하여 학습될 수 있다.

본 발명의 일 실시예에서는, 상기 평가정보는 해당 면접영상에 대한 복수의 평가자의 복수의 평가항목에 대한 복수의 평가자가 각각 입력한 평가점수일 수 있다.

본 발명의 일 실시예에서는, 상기 신뢰도정보는 평가자별 평가항목별 신뢰도점수를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 신뢰도산출단계는, 해당 비디오에 대한 특정 평가항목에서의 복수의 평가자의 평균 평가점수와의 차이가 클수록 신뢰도점수를 낮게 산출할 수 있다.

본 발명의 일 실시예에서는, 상기 신뢰도산출단계는, 특정 평가항목에 대하여 복수의 평가자별 신뢰도점수 및 복수의 평가자별 평가점수를 적용하여 추정점수를 도출하는 제1단계; 산출된 상기 추정점수와 평가자별 평가점수에 기초하여 평가자별 신뢰도점수를 업데이트하는 제2단계; 상기 제1단계에서 현재 도출된 추정점수와 이전에 도출된 1 이상의 추정점수에 기초하여 추정점수가 기설정된 범위 내에서 수렴하는지 여부를 판단하는 제3단계;를 포함하고, 상기 제3단계에서 추정점수가 기설정된 범위 내에서 수렴한다고 판단하는 경우에 산출된 평가자별 신뢰도점수를 신뢰도정보로 산출하고, 상기 3단계에서 추정점수가 기설정된 범위 내에서 수렴하지 않는다고 판단하는 경우에는 상기 제1단계, 제2단계, 및 제3단계를 반복할 수 있다.

본 발명의 일 실시예에서는, 상기 평가모델학습단계는, 해당 평가항목에 대하여 복수의 평가자의 복수의 평가점수에 대해 상기 신뢰도정보에 포함된 평가자별 신뢰도점수를 가중치로 반영하여, 종합평가점수를 도출하고, 도출된 종합평가점수 및 해당 면접영상에 기초하여 상기 해당 평가항목에 대해 상기 평가모델을 학습시킬 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 학습시키는 방법을 수행하는 서버 시스템으로서, 기설정된 질문세트 중 1 이상의 질문정보를 사용자단말기에 송신하고, 상기 사용자단말기로부터 상기 질문정보에 응답을 수행한 면접영상을 수신하여 저장하는 면접영상저장부; 기계학습을 이용한 평가모델을 통하여 상기 면접영상에 대한 자동평가정보를 생성하는 면접영상평가부; 해당 면접영상에 대하여 복수의 평가자의 평가정보를 수집하는 평가정보수집부; 상기 복수의 평가자의 평가정보로부터 복수의 평가자에 대한 신뢰도정보를 산출하는 신뢰도산출부; 및 산출된 상기 신뢰도정보 및 상기 평가정보를 이용하여 상기 평가모델을 학습하는 평가모델학습부;를 포함하는, 서버 시스템을 제공한다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 전술한 평가모델을 학습시키는 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체을 제공한다.

도 1은 본 발명의 일 실시예에 따른 면접준비 서비스를 제공하는 방법의 전체적인 시스템 형태를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 서비스서버의 내부 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 질문세트설정부의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 면접영상저장부의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 면접영상평가부의 동작을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 평가결과제공부의 종합평가제공부의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 평가결과제공부의 성격특성제공부의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 평가결과제공부의 프레임별분석제공부의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 평가결과제공부의 프레임별분석제공부의 시선처리 결과제공 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 평가결과제공부의 프레임별분석제공부의 머리움직임결과제공 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 평가결과제공부의 프레임별분석제공부의 감정결과제공 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.
도 12는 본 발명의 몇 실시예에 따른 평가모델학습과 관련된 단계들을 개략적으로 도시한다.
도 13는 본 발명의 몇 실시예에 따른 평가정보수집부에서 수신하는 평가자의 평가정보의 데이터 형태를 개략적으로 도시한다.
도 14은 본 발명의 복수의 평가자의 평가정보 데이터의 일 예를 도시한다.
도 15는 본 발명의 일 실시예에 따른 신뢰도산출부의 수행단계들을 개략적으로 도시한다.
도 16은 본 발명의 일 실시예에 따른 평가모델학습부의 동작을 개략적으로 도시한다.
도 17은 본 발명의 일 실시예에 따른 평가정보관리부의 내부 구성을 개략적으로 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드 (Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network;LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 면접준비 서비스를 제공 혹은 피평가자의 면접영상에 대한 자동적인 평가결과를 제공하는 전체적인 시스템 형태를 개략적으로 도시한다. 도 1에 도시된 시스템에서는 자동화된 방식으로 회원단말기로부터 면접영상을 수신하고, 이에 대해 기계학습된 평가모델을 통하여 소프트 스킬 등에 대한 자동평가결과를 회원단말기 혹은 접속된 기관단말기에 제공할 수 있다. 이와 같은 평가모델을 토대로 많은 면접영상을 수집할 수 있다.

도 1에 도시된 서버시스템은 회원단말기에서 자신의 면접영상에 대한 자동적인 평가를 보고 이에 대한 개선을 수행하는 형태로 이용될 수도 있고, 혹은 지원자의 특정 기관에 대한 실제 온라인 면접을 수행하는 시스템으로 이용될 수도 있다. 이 경우, 회원단말기로부터 수신한 면접영상 등의 면접 결과는 기관의 단말기에 송신될 수 있다.

또한, 도 1에 도시된 서버시스템은 평가자단말기에서 접속하여 평가정보를 입력하는 형태로 이용될 수 있다. 이 경우, 서버시스템의 평가모델학습부는 평가자단말기에서 입력된 평가정보에 기초하여 자동평가모델을 학습 및 개선시킬 수 있다.

이와 같이, 도 1에 도시된 서버시스템은 회원단말기로부터 수신한 면접영상에 대한 결과 등을 기관단말기, 평가자단말기 및 회원단말기 중 1 이상에 대해 송신을 할 수 있고, 평가자단말기로부터 수신한 평가결과를 기관단말기로 송신하거나 혹은 평가결과에 기초하여 서버시스템의 자동평가 모델을 개선시킬 수 있는 복합적인 기능을 수행할 수 있다.

이하에서는, 1 이상의 평가자단말기로부터 평가결과를 수신하고, 수신된 평가결과에 기초하여 서버시스템의 평가모델을 학습시키는 방법을 중심으로, 본 발명의 서버시스템에 대해서 설명하도록 한다.

도 1의 회원단말기, 평가자단말기, 및 기관단말기는 전술한 사용자 단말에 해당할 수 있고, 서버시스템(1000)는 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅 장치에 해당한다.

회원단말기, 평가자단말기, 및 기관단말기는 상기 서버시스템(1000)에 웹브라우져 프로그램을 통하여 접속하거나 혹은 전용 애플리케이션을 통하여 서버시스템(1000)에 접속할 수 있다.

회원단말기, 평가자단말기, 및 기관단말기는 사용자 각각의 계정으로 상기 서버시스템(1000)에 로그인하여 상기 서버시스템(1000)의 서비스를 이용할 수 있다.

회원단말기, 평가자단말기, 및 기관단말기는 각각 상이한 형태의 계정, 예를 들어 회원(혹은 지원자) 타입의 계정, 평가자 타입의 계정, 및 기관 타입(채용을 하고자 하는 기업 등)의 계정으로 상기 서버시스템(1000)에 로그인할 수 있다.

이하에서는 서버시스템(1000)의 구성에 대하여 더욱 자세하게 설명하도록 한다.

실제로 온라인 면접이 진행되는 경우에는 상기 회원단말기는 실질적으로 기업 채용 등에 지원하고자 하는 지원자단말기에 해당할 수도 있다.

도 2는 본 발명의 일 실시예에 따른 서버시스템(1000)의 내부 구성을 개략적으로 도시한다.

본 발명의 서버시스템(1000)는 일반 지원자의 온라인 면접과 관련된 스킬을 향상시킬 수 있는 코칭 서비스를 제공할 수 있다. 일차적으로는, 상기 회원단말기로부터 면접영상을 수신하고, 이에 대한 평가정보를 제공함으로 상기 회원단말기의 사용자는 자신의 면접영상에 대한 피드백을 제공받을 수 있다.

혹은, 본 발명의 서버시스템(1000)은 실제 기업과 온라인 면접을 수행하는 시스템으로 이용될 수도 있다. 예를들어, 지원자가 회원단말기를 통하여 면접영상을 서버시스템에 전송하고, 서버시스템은 수신한 면접영상 및/또는 자동화된 평가정보 등을 기관단말기에 제공할 수도 있다.

혹은, 본 발명의 서버시스템(1000)은 위의 두 활용예에서 사용되는 자동적으로 평가정보를 생성하는 평가모델을 보다 개선시키는 동작을 수행할 수 있다.

한편, 본 발명의 서버시스템은 물리적으로 단일의 서버가 아닌 복수의 서버를 포함하는 형태로 구현될 수 있다. 예를들어, 평가모델학습부(1660)가 별도의 물리적 서버로 구성될 수도 있다. 또한, DB(1600)에 포함된 평가모델(1660)이 별도의 서버로 구현될 수도 있다.

질문세트설정부(1100)는 사용자의 입력에 따라서 질문세트를 구성한다.

바람직하게는, 사용자가 지원하고자 하는 기관에 대한 정보를 단계적으로 입력하고, 상기 서버시스템(1000)는 해당 기관에 대한 정보에 상응하는 질문(기업 혹은 기업 종류의 면접에서 출제되거나 혹은 출제될 수 있는 질문)들을 사용자에게 제공한다. 바람직하게는, 상기 질문세트설정부(1100)는 사용자에게 기관의 종류(예를 들어, 기업, 공공기관 등), 기업의 명칭(예를 들어, 삼성전자, 한국은행), 직군(예를 들어, 소프트웨어직, 관리직)을 단계적으로 입력할 수 있는 인터페이스를 제공한다.

상기 서버시스템(1000)는 각각의 기업, 직군 등의 지원정보에 상응하는 질문들에 대한 정보를 저장하고 있고, 사용자의 입력에 따라 상응하는 질문 리스트를 제공한다.

이후, 사용자는 전체 질문세트 중 자신이 테스트하고자 하는 질문들을 선택함으로써, 질문세트를 생성할 수 있다.

혹은, 서버시스템이 실제 온라인면접을 수행하는 경우에는 질문세트설정부(1100)은 지원자가 지원하고자 하는 기업에 대한 질문리스트에 기초하여 질문세트가 생성된다.

이후, 후술하는 면접영상저장부(1200)에는 질문세트의 질문을 순차적으로 혹은 무작위로 추출하여 이를 회원단말기에 전송하고, 회원단말기에서 사용자는 해당 질문을 파악한 후에, 이에 대한 응답영상을 회원단말기로 기록하여, 서버시스템(1000)로 전송한다.

한편, 질문세트는 위와 같은 방식이 아닌, 대부분의 기업에서 물어볼 수 있는 공통질문세트가 초기에 주어지거나, 사용자의 세부 입력 없이 서버시스템(1000)에 저장된 질문 중 무작위로 질문을 추출하여 질문세트를 구성하여 제공될 수도 있다. 혹은 사용자가 질문세트에 대한 설정을 하지 않고, 바로 면접영상저장부(1200)에 의한 기능을 실행시키는 경우에, 기설정된 규칙에 따른 질문세트를 생성하거나 혹은 기설정된 규칙에 따른 질문을 제시한다.

혹은, 서버시스템(1000)이 실제 온라인면접을 수행하는 경우에는 질문세트설정부(1100)은 지원자가 지원하고자 하는 기업에 할당된 정보에 기초하 여 질문세트가 생성된다.

면접영상저장부(1200)는 기설정된 질문세트 중 1 이상의 질문정보를 사용자단말기에 송신하고, 상기 사용자단말기로부터 상기 질문정보에 응답을 수행한 면접영상을 수신하여 저장한다. 여기서 면접영상저장부의 저장은 DB의 일반적인 메모리 장치(예를들어, HDD)에 저장하는 형태뿐만 아니라, 재생이 가능할 정도로만 캐시로 저장하는 경우를 포함하는 최광의로 해석되어야 할 것이다.

상기 질문정보는 질문텍스트, 질문음성, 및 질문영상 중 1 이상의 형태로 구현될 수 있다.

구체적으로, 상기 면접영상저장부(1200)는 사용자단말기에서는 질문정보에 따른 질문이 단말기에서 표시 혹은 재생이 되는 인터페이스를 제공하고, 사용자단말기에 구비된 카메라 및 마이크에 의하여 촬영된 면접영상을 사용자단말기로부터 수신하여, 해당 면접영상에 대한 식별자와 함께 DB(1600)에 저장한다.

상기 면접영상평가부(1300)는 기계학습을 이용한 평가모델을 통하여 상기 면접영상에 대한 자동평가정보를 생성한다.

즉, 서버시스템(1000)는 상기 면접영상을 수신한 후에, 평가모델을 이용하여 자동적으로 평가를 수행하고, 이를 통하여 자동평가정보를 생성한다. 자동평가정보는 호감도, 집중도, 신뢰감, 활기참, 침착성, 소통능력, 눈마주침, 친절함, 습관의 사용여부, 및 유쾌함 중 1 이상을 포함하는 면접과 관련된 종합평가 요소; 및 개방성, 성실성, 외향성, 친화성, 및 신경성 중 1 이상을 포함하는 성격특징; 시선처리, 머리움직임, 음성높낮이, 음성높낮이, 음성크기, 및 감정 중 1 이상의 태도특징에 대한 정량적 정보 중 1 이상을 포함할 수 있다.

바람직하게는, 상기 평가모델은 1 이상의 딥러닝 기반의 학습된 인공신경망 모듈을 포함한다. 상기 평가모델은 학습된 인공신경망 모듈뿐만 아니라 기설정된 규칙에 기반한 평가모듈을 복합적으로 이용하는 형태에 해당할 수 있다.

상기 평가결과제공부(1400)는 상기 자동평가정보에 기초하여 사용자단말기에 자동평가결과를 제공한다. 구체적으로, 상기 평가결과제공부(1400)는 자동평가정보 혹은 상기 자동평가정보가 가공된 형태의 데이터(자동평가정보가 반영된 인터페이스 구현과 관련된 데이터)를 상기 회원단말기에 전송하고, 회원단말기의 웹브라우져 및 전용애플리케이션에서는 사용자의 선택에 따라 다양한 평가정보가 디스플레이된다.

바람직하게는, 상기 평가결과제공부(1400)는 호감도, 집중도, 신뢰감, 활기참, 침착성, 소통능력, 눈마주침, 친절함, 습관의 사용여부, 및 유쾌함 중 1 이상을 포함하는 면접과 관련된 종합평가 요소를 제공하는 종합평가제공부(1410); 개방성, 성실성, 외향성, 친화성, 및 신경성 중 1 이상을 포함하는 성격특징 요소를 제공하는 성격특성제공부(1420); 및 시선처리, 머리움직임, 음성높낮이, 음성높낮이, 음성크기, 및 감정 중 1 이상의 태도특징 등의 요소를 면접영상의 부분단위 별로 제공하는 프레임별분석제공부(1430)를 포함한다.

상기 프레임별분석제공부(1430)는 면접영상의 부분단위, 예를 들어 프레임, 프레임구간, 시간, 시간구간별에 따른 특성 평가 정보를 제공할 수 있다. '프레임별분석제공부'의 용어에서 프레임은 단일 프레임을 지칭하는 것이 아니라 면접영상의 부분단위임을 지칭하는 것으로 이해되어야 할 것이다.

상기 평가결과제공부(1400)에서 도출된 자동평가결과는 상기 서버시스템이 회원의 면접 준비를 하는 경우로 사용되는 경우에는 회원단말기로 전송되고, 실제 회원단말기가 지원자의 단말기 역할을 수행하여 채용 등에 대한 온라인 면접이 이루어지는 경우에는 자동평가결과는 채용 등을 하고자 하는 기관단말기로 전송될 수 있다.

본 발명의 기본적인 동작은 회원단말기로부터 수신한 면접영상에 대한 자동적 평가서비스를 제공하는 것이다.

한편, 본 발명의 일 실시예에서는 서버시스템은 평가모델을 학습시키는 데에 이용될 수도 있다. 이와 같은 기능은 평가정보관리부(1500)이 수행한다. 즉, 평가정보관리부(1500)은 피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 학습시키는 방법을 수행한다.

상기 평가정보관리부(1500)은 해당 면접영상에 대하여 복수의 평가자의 평가정보를 수집하는 평가정보수집부(1510); 상기 복수의 평가자의 평가정보로부터 복수의 평가자에 대한 신뢰도정보를 산출하는 신뢰도산출부(1520); 및 산출된 상기 신뢰도정보 및 상기 평가정보를 이용하여 상기 평가모델을 학습하는 평가모델학습부(1530)을 포함한다.

상기 평가정보수집부(1510)에 의하여 수집된 평가정보는 상기 기관단말기로 제공이 될 수도 있으나, 더욱 바람직하게는 상기 평가모델학습부를 통하여 평가모델을 학습하는데 이용될 수 있다.

더욱 바람직하게는, 본 발명은 평가결과제공부의 동작을 통하여 다양한 면접영상을 확보하고, 이에 대해 평가모델학습부를 통하여 평가모델을 더욱 개선할 수 있다.

평가모델학습부(1530)는 상기 평가자의 평가정보에 기초하여 상기 기계학습을 이용한 평가모델을 학습시킨다. 즉, 실제 사람인 평가자가 해당 면접영상에 대한 평가를 수행하였을 때, 이 정보를 기관단말기 혹은 회원단말기에게 제공할 뿐만 아니라, 본 발명에서는 평가자의 평가정보를 이용하여 평가모델을 더욱 강화한다.

이와 같은 평가정보관리부(1500)의 이용으로 회원은 보다 실제적인 면접평가를 제공받을 수 있고, 서버시스템(1000)는 과정에서 생성되는 데이터를 활용함으로써 평가모델의 성능을 자동적으로 지속적으로 개선할 수 있는 효과를 발휘할 수 있다.

한편, 상기 서버시스템(1000)의 DB(1600)에는 회원단말기로부터 수신한 면접영상(1610), 해당 면접영상에 대한 면접영상평가부(1300)에서 수행한 자동평가정보(1620), 상기 평가정보수집부(1510)에서 수집한 평가정보(1630), 및/또는 평가자의 신뢰도정보, 기타 사용자정보(1640), 및 질문과 관련된 정보인 질문세트(1650), 및 상기 면접영상평가부(1300)가 면접영상을 평가하는 데 이용이 되고, 상기 평가모델학습부(1530)에 의하여 추가적인 학습이 수행되는 평가모델이 저장되어 있을 수 있다.

도 2에 도시된 서버시스템(1000)는 도시된 구성요소 외의 다른 요소들을 더 포함할 수 있으나, 편의상 본 발명의 실시예들에 따른 온라인 면접 수행, 면접준비 서비스를 제공, 및 평가모델에 대한 학습과 관련된 구성요소들만을 표시하였다.

도 3은 본 발명의 일 실시예에 따른 질문세트설정부(1100)의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.

바람직하게는, 질문세트는 회원의 계정 마다 생성, 및 관리될 수 있다. 도 3의 (A)는 질문세트설정부(1100)에 의한 초기 회원단말기의 표시화면을 도시한다.

도 3의 (A)에서는 이미 생성되거나 혹은 초기에 주어지는 질문세트의 정보를 디스플레이한다. 상기 질문세트의 정보는 해당 질문세트의 질문, 질문세트의 식별정보, 및 질문세트의 생성일자를 포함할 수 있다. 또한, 첫 번째 박스에서와 같이 사용자가 질문세트를 생성할 수 있는 인터페이스 요소가 디스플레이될 수 있고, 두 번째 박스에서와 같이 무작위로 질문세트를 생성하고, 바로 면접영상저장부(1200)가 실행되는 인터페이스 요소가 디스플레이될 수 있다.

도 3의 (B)는 상기 질문세트설정부(1100)에 의하여 제공되는 회원단말기의 (A)의 화면에서 사용자가 첫 번째 박스를 입력했을 때의 화면을 도시한다.

도 3의 (B)의 상단레이어에서와 같이, 사용자는 대분류(기관 종류), 중분류(기관의 명칭), 및 소분류(기관에서의 직군)을 선택할 수 있다.

이후, 도 3의 (B)의 중단레이어에서는 질문은행 및 내가 만든 질문을 선택할 수 있고, 질문은행을 선택하는 경우에, 사용자가 선택한 대분류, 중분류, 및 소분류에 따른 서버시스템(1000)에 기저장된 질문들이 디스플레이된다.

여기서 사용자는 질문들에 대해 입력(예를 들어 클릭)을 하면서, 현재 설정하고자 하는 질문세트에 질문을 추가할 수 있고, 이와 같이 추가된 질문은 좌측레이어에 표시됨으로써, 사용자에게 자신이 연습하고자 하는 질문들을 포함하는 질문세트를 편리하게 설정할 수 있다.

본 발명의 서버시스템(1000)이 실제 온라인면접을 수행하는 경우에는 상기 질문세트설정부는 도 3과 같은 인터페이스를 제공하지 않고, 지원하고자 하는 해당 기관에 대해 설정된 질문들이 설정된 규칙에 따라 회원단말기로 제공된다.

도 4는 본 발명의 일 실시예에 따른 면접영상저장부(1200)의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.

구체적으로, 사용자의 입력에 따라 상기 면접영상저장부(1200)는 사용자가 선택한 질문세트 혹은 질문세트에 포함된 질문을 회원단말기에 전송하고, 회원단말기에서는 도 4의 (A), (B)의 과정이 수행된 이후에, 촬영된 면접영상을 서버시스템(1000)에 전송하고, 이후 서버시스템(1000)는 수신한 면접영상을 저장한다.

도 4의 (A)에서는 현재 촬영 영상에서 질문이 표시되면서, 카운트다운을 하는 디스플레이요소가 표시된다. 구체적으로 도 4의 (A)의 '7'은 7초 후에 영상촬영이 진행됨을 사용자에게 알리는 표시이다.

도 4의 (B)에서는 도 4의 (A) 화면이 끝나고 영상촬영이 진행되는 화면을 도시한다. 도 4의 (B)에서는 사용자는 이전 화면에서의 질문에 대한 대답을 수행하고, 회원단말기에서는 이에 대한 영상을 촬영하여 서버시스템(1000)로 전송한다.

도 5는 본 발명의 일 실시예에 따른 면접영상평가부(1300)의 동작을 개략적으로 도시한다.

면접영상평가부(1300)는 학습된 평가모델을 이용하여 해당 면접영상에 대한 분석을 수행한다.

면접영상평가부(1300)는 면접영상에 대한 평가를 수행하는 다양한 평가모듈을 포함할 수 있다. 상기 평가모듈은 딥러닝 기반의 학습된 평가모델에 기초하여 평가를 수행할 수 있는 평가모듈에 해당하거나 혹은 학습이 아닌 기설정된 루틴 혹은 알고리즘에 따라 특징정보(예를 들어 시선의 위치)를 도출하고, 도출된 특징정보에 대한 평가를 수행하는 평가모듈에 해당될 수 있다.

.

본 발명의 일 실시예에서는 상기 면접영상평가부(1300)는 기본적으로 영상 정보 및 음성 정보를 포함하는 면접영상을 입력받고 딥러닝과 같은 기계학습기술을 통한 학습된 평가모델을 통하여 자동평가정보를 도출한다.

또한, 이에 추가적으로, 상기 면접영상평가부(1300)는 기계학습이 아닌 기설정된 규칙에 따라 영상을 분석하고, 특정 평가값들을 도출할 수도 있다.

상기 면접영상평가부(1300)를 구성하는 평가모듈들은 동영상인 면접영상으로부터 음성 및 영상 정보를 추출하여 이를 각각 평가모듈에 입력하여 결과값을 도출하거나 혹은 음성 및 영상 정보를 종합하여 평가모듈에 입력하여 결과값을 도출할 수도 있다.

바람직하게는, 본 발명의 일 실시예에 따른 평가모델을 이용한 면접영상평가부(1300)의 평가모듈은 입모양을 통한 말하는 상태 여부를 추론하고, 이를 고려하여 면접영상의 피평가자를 평가하는 모델을 포함할 수도 있다. 구체적으로 상기 편접영상평가부의 특정 평가모듈은 면접영상에 포함된 얼굴 중에 입모양 부분을 별도로 검출하고 RNN, LSTM, GRU와 같은 시간적 개념이 포함된 인공 신경망 기술을 이용하여 말을 하고 있는 상태인지 아닌지를 구분하는 모델을 포함하고, 이러한 정보를 기초하여 영상 정보와 음성 정보에 대해 어느 정도로 가중치로 평가에 영향을 줄 것인지를 자동으로 조절할 수 있도록 구성할 수도 있고, 이와 같은 가중치에 대해서도 학습하도록 모델을 구성할 수 있다.

즉, 이와 같은 구성에서 면접영상에서 입모양을 통해 피평가자 혹은 화자가 말하는 상태가 아닌 경우 자동으로 영상 정보를 좀 더 중요하게 처리(일반 상태보다 상대적으로 높은 가중치를 부여)하고 음성 정보를 덜 중요하게 처리(일반 상태보다 상대적으로 낮은 가중치를 부여)할 수 있다.

바람직하게는, 상기 면접영상평가부(1300)는 면접영상의 복수의 프레임에서의 사용자의 시선의 복수의 위치정보를 추출하는 모듈을 포함할 수 있고, 이를 통하여 상기 평가결과제공부(1400)에 의하여 회원단말기에서 시선의 위치현황 및 시선의 이동현황에 대한 정보를 제공할 수 있다.

바람직하게는, 상기 면접영상평가부(1300)는 면접영상의 복수의 프레임에서의 사용자의 머리 움직임을 추출하는 모듈을 포함할 수 있고, 이를 통하여 상기 평가결과제공부(1400)에 의하여 회원단말기에서 머리 움직임에 대한 정보를 제공할 수 있다.

바람직하게는, 상기 면접영상평가부(1300)는 면접영상의 복수의 프레임에서의 음성높낮이, 음성크기 등의 음성의 소리적 특성값을 추출하는 모듈을 포함할 수 있고, 이를 통하여 평가결과제공부(1400)에 의하여 회원단말기에서 음성에 대한 정보를 제공할 수 있다.

바람직하게는, 상기 면접영상평가부(1300)는 면접영상의 구간별로 감정요소들의 세기를 추출하는 모듈을 포함할 수 있고, 이를 통하여 평가결과제공부(1400)에 의하여 회원단말기에서 감정에 대한 정보를 제공할 수 있다. 이 경우, 상기 딥러닝으로 학습된 인공신경망에 의한 평가모듈이 이용될 수 있다.

이와 같이 면접영상평가부(1300)는 1 이상의 평가모델을 포함할 수 있고, 바람직하게는, 1 이상의 기계학습된 평가모델을 포함할 수 있다.

도 6은 본 발명의 일 실시예에 따른 평가결과제공부(1400)의 종합평가제공부(1410)의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.

상기 평가결과제공부(1400)는 회원단말기, 평가자단말기, 및 기관단말기 등 에서의 입력에 따라서 다양한 평가화면을 회원단말기에 제공할 수 있다. 도 6은 종합평가를 제공하는 화면(도 6의 L3의 AI 종합을 사용자가 입력한 경우)을 도시한다.

상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 디스플레이요소는, 상기 면접영상을 재생할 수 있는 영상레이어(L1); 상기 면접영상에 대한 식별정보, 날짜, 설명정보 등이 표시될 수 있는 영상정보레이어(L2); 2 이상의 평가결과 카테고리를 선택할 수 있는 카테고리레이어(L3); 상기 2 이상의 평가결과 카테고리 중 선택된 평가결과 카테고리에 대한 자동평가결과가 디스플레이되는 자동평가결과레이어(L4, L5, L6)를 포함한다.

상기 영상레이어(L1)에서는 사용자의 입력에 따라서 면접영상이 플레이될 수 있다.

상기 카테고리레이어(L3)에서는 사용자의 입력에 따라서 평가결과 카테고리가 변경되면서, 제공화면이 전환된다. 카테고리레이어(L3)의 'AI종합'은 종합평가제공부(1410)에 의한 평가결과를 제공하는 것을 지칭하고, '성격특성'은 성격특성제공부(1420)에 의한 평가결과를 제공하는 것을 지칭하고, '프레임별분석'은 프레임별분석제공부(1430)에 의한 평가결과를 제공하는 것을 지칭한다.

즉, 상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 화면은, 상기 면접영상 전체에 대한 평가에 대한 요소를 디스플레이하는 제1화면(종합평가제공부(1410) 혹은 성격특성제공부(1420)에 의하여 디스플레이되는 도 6, 7의 화면) 및 상기 면접영상의 부분단위의 평가에 대한 요소를 디스플레이하는 제2화면(프레임별분석제공부(1430)에 의하여 디스플레이되는 도 8 내지 도 11의 화면)을 포함한다.

도 6의 자동평가결과레이어(L4, L5, L6 가 이에 해당할 수 있음)에는 복수의 평가정보가 디스플레이되고, 상기 자동평가정보에 기초한 평가정보가 디스플레이된다.

상기 복수의 평가정보는 호감도, 집중도, 신뢰감, 활기참, 침착성, 소통능력, 눈마주침, 친절함, 습관어 사용여부, 및 유쾌함 중 1 이상에 대한 정량화된 수치; 및 상기 정량화된 수치로부터 기초한 종합평가점수, 등급정보, 및 추천지수; 및 상기 평가정보들에 기초하여 자동적으로 작성된 텍스트평가정보를 포함한다.

도 7은 본 발명의 일 실시예에 따른 평가결과제공부(1400)의 성격특성제공부(1420)의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.

상기 평가결과제공부(1400)는 회원단말기에서의 입력에 따라서 다양한 평가화면을 회원단말기에 제공할 수 있다. 도 7은 회원단말기에서의 입력에 따라 성격특성평가를 제공하는 화면(도 7의 L3의 성격특성을 사용자가 입력한 경우)을 도시한다.

상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 디스플레이요소는, 상기 면접영상을 재생할 수 있는 영상레이어(L1); 상기 면접영상에 대한 식별정보, 날짜, 설명정보 등이 표시될 수 있는 영상정보레이어(L2); 2 이상의 평가결과 카테고리를 선택할 수 있는 카테고리레이어(L3); 상기 2 이상의 평가결과 카테고리 중 선택된 평가결과 카테고리에 대한 자동평가결과가 디스플레이되는 자동평가결과레이어(L7)을 포함한다.

도 7의 자동평가결과레이어(L7)에는 복수의 평가정보가 디스플레이되고, 상기 자동평가정보에 기초한 평가정보가 디스플레이된다.

상기 복수의 평가정보는 개방성, 성실성, 외향성, 친화성, 및 신경성 중 1 이상의 성격특성에 대한 정량 혹은 등급적 정보를 포함할 수 있다.

도 8은 본 발명의 일 실시예에 따른 평가결과제공부(1400)의 프레임별분석제공부(1430)의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.

사용자의 입력에 따른 상기 평가결과제공부(1400)의 프레임별분석제공부(1430)에 의하여 표시되는 사용자단말기의 화면의 일 실시예에서의 디스플레이요소는, 상기 면접영상을 재생할 수 있는 영상레이어(L1); 상기 면접영상에 대한 식별정보, 날짜, 설명정보 등이 표시될 수 있는 영상정보레이어(L2); 2 이상의 평가결과 카테고리를 선택할 수 있는 카테고리레이어(L3); 및 상기 면접영상의 부분단위의 평가에 대한 요소를 디스플레이하는 자동평가결과레이어(L7)를 포함한다.

도 8에 도시된 바와 같이 상기 영상레이어(L1)에는 면접영상, 및 면접영상의 시간 혹은 프레임의 위치를 표시하는 영상타이밍요소(E1)가 디스플레이되고, 상기 자동평가레이어(L7)에는 면접영상의 시간 혹은 프레임에 따른 평가요소에 대한 정량화된 수치를 그래프로 표시하는 그래프요소, 및 상기 그래프요소의 시간 혹은 프레임위치를 표시하는 그래프타이밍요소(E2)이 디스플레이된다.

도 8의 자동평가레이어(L7)에는 시간 혹은 프레임의 흐름에 따른 평가지표의 그래프가 도시된다. 이를 통하여 자신이 전체적으로 해당 평가지표를 일관되게 유지하였는지 혹은 어느 타이밍에 문제가 있었는지 혹은 어느 타이밍에 잘 했는지 여부를 판단할 수 있다.

여기서, 사용자단말기에서의 입력에 따라 상기 영상타이밍요소가 변하는 경우에, 예를 들어, 영상타이밍요소(E1)을 사용자가 클릭하여 드래그하는 경우에, 상기 영상타이밍요소(E1)의 변화에 상응하여 상기 그래프타이밍요소(E2)가 변화할 수 있다.

혹은, 사용자단말기에서의 입력에 따라 상기 그래프타이밍요소(E2)가 변하는 경우에, 상기 그래프타이밍요소(E2)의 변화에 상응하여 상기 영상타이밍요소(E1)가 변화할 수 있다.

예를 들어, 사용자가 자동평가레이어(L7)에서 특정 구간에서 해당 평가지표가 낮거나 불안하게 나오는 경우에, 해당 구간으로 그래프타이밍요소(E2)를 이동시킨다. 이 경우, 상기 영상레이어에서의 영상타이밍요소(E1)이 이동한 상기 그래프타이밍요소(E2)의 위치에 상응하는 타이밍 혹은 프레임 위치로 이동하게 되고, 사용자는 이 상태에서 영상의 플레이 입력을 함으로써, 해당 구간에서의 자신의 영상을 바로 파악할 수 있다.

도 8의 (A) 및 (B)는 위와 같은 그래프타이밍요소(E2)와 영상타이밍요소(E1)의 연동과정을 예시적으로 도시한다. 도 8의 (B)에서와 같이 그래프타이밍요소(E2)를 특정 위치로 이동하는 경우에, 상기 영상타이밍요소(E1)이 상기 그래프타이밍요소(E2)의 위치에 상응하는 위치로 이동하게 된다.

도 9는 본 발명의 일 실시예에 따른 평가결과제공부(1400)의 프레임별분석제공부(1430)의 시선처리 결과제공 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.

전술한 면접영상평가부(1300)에 의하여 도출된 상기 자동평가정보는 면접영상의 복수의 프레임에서의 사용자의 시선의 복수의 위치정보를 포함할 수 있다.

즉, 상기 면접영상평가부(1300)는 사용자의 눈의 이미지 정보 등을 고려하여 프레임별 혹은 특정 시간구간별 시선의 위치에 대한 정보를 도출한다.

이후, 사용자의 입력에 따라 평가결과제공부(1400)의 프레임별분석제공부(1430)는 시선처리 결과제공을 수행할 수 있고, 이에 따라 제공되는 사용자단말기에서의 디스플레이요소는 자동평가레이어(L7)에서 도시되는 시간구간 혹은 프레임구간에 따른 시선의 위치, 변동량, 혹은 시선처리의 적합성 정도를 포함할 수 있다.

바람직하게는, 상기 시선처리 결과제공에 의하여 디스플레이되는 화면은 시선처리의 누적결과를 디스플레이하는 시선정보레이어(L8) 및 시선처리 결과에 대한 설명을 디스플레이하는 시선정보설명레이어(L9)을 포함할 수 있다.

도 9에 도시된 바와 같이, 상기 시선정보레이어(L8)에는 시선의 중심을 직접적 혹은 간접적으로 표시하는 배경레이어에서 상기 사용자의 시선의 복수의 위치정보에 따라 상기 배경레이어에서의 위치가 결정되는 복수의 그래픽엘리먼트가 중첩되어 표시될 수 있다.

이와 같은 방식으로 사용자는 자동평가레이어(L7)을 통하여 시간에 따른 시선의 변화 정보를 확인하면서, 동시에 시선정보레이어(L8)을 통하여 자신의 시선이 평균적으로 어디에 위치하는 지를 확인할 수 있다. 또한, 사용자는 자동평가레이어(L7)에서 시선변동이 심한 프레임 혹은 타이밍을 확인하고, 이에 따라 그래프타이밍요소(E2)를 해당 타이밍으로 위치시키면, 영상레이어(L1)에서의 영상타이밍요소(E1)이 상응하는 위치로 자동적으로 이동하고, 사용자는 단순히 영상재생 버튼을 클릭함으로써, 시선변동이 심할 때의 자신의 모습을 신속하게 파악할 수 있는 효과를 발휘할 수 있다.

도 10은 본 발명의 일 실시예에 따른 평가결과제공부(1400)의 프레임별분석제공부(1430)의 머리움직임결과제공 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.

전술한 면접영상평가부(1300)에 의하여 도출된 상기 자동평가정보는 면접영상의 복수의 프레임에서의 사용자의 머리움직임의 정도에 대한 정보를 포함할 수 있다.

즉, 상기 면접영상평가부(1300)는 사용자의 머리 이미지 정보 등을 고려하여 프레임별 혹은 특정 시간구간별 머리움직임의 정도에 대한 정보를 도출한다.

이후, 사용자의 입력에 따라 평가결과제공부(1400)의 프레임별분석제공부(1430)는 머리움직임 결과제공을 수행할 수 있고, 이에 따라 제공되는 사용자단말기에서의 디스플레이요소는 자동평가레이어(L10)에서 도시되는 시간구간 혹은 프레임구간에 따른 머리의 평균 위치, 머리의 평균 높이, 혹은 머리움직임의 정도를 포함할 수 있다.

이와 같은 방식으로 사용자는 자동평가레이어(L10)을 통하여 시간에 따른 머리움직임과 관련된 정보를 확인할 수 있다. 또한, 사용자는 자동평가레이어(L10)에서 머리움직임이 심한 프레임 혹은 타이밍을 확인하고, 이에 따라 그래프타이밍요소(E2)를 해당 타이밍으로 위치시키면, 영상레이어(L1)에서의 영상타이밍요소(E1)이 상응하는 위치로 자동적으로 이동하고, 사용자는 단순히 영상재생 버튼을 클릭함으로써, 머리움직임이 심할 때의 자신의 모습을 신속하게 파악할 수 있는 효과를 발휘할 수 있다.

도 11은 본 발명의 일 실시예에 따른 평가결과제공부(1400)의 프레임별분석제공부(1430)의 감정결과제공 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.

사용자의 입력에 따라 평가결과제공부(1400)의 프레임별분석제공부(1430)는 감정 변화에 대한 결과제공을 수행할 수 있고, 이에 따라 제공되는 사용자단말기에서의 디스플레이요소는 시간구간 혹은 프레임구간에 따른 감정의 그래프를 포함하는 감정레이어(L11)를 포함할 수 있다.

상기 감정레이어(L11)에는 시간구간 혹은 프레임구간에 따라 각각의 감정, 예를 들어, 화남, 두려움, 놀람 등의 정도가 도시될 수 있다

바람직하게는, 감정레이어(L11)에는 각각의 감정에 대한 색상을 달리하여 그래프를 도시하고, 각각의 감정의 색상이 표시되는 것이 바람직하다.

감정종합레이어(L12)에는 영상 전체의 감정요소에 대한 정보가 도시되고, 바람직하게는 도 11에서와 같이 그래픽 요소에 의하여 각각의 감정요소의 비율을 도시한다.

위와 같은 사용자인터페이스를 통하여, 사용자는 면접 동안 타인에게 자신이 어떤 감정을 가지고 있는 것처럼 보였는지를 확인할 수 있고, 마찬가지로, 사용자는 감정레이어(L11)에서 특정 감정이 강하거나 약했던 프레임 혹은 타이밍을 확인하고, 이에 따라 그래프타이밍요소(E2)를 해당 타이밍으로 위치시키면, 영상레이어(L1)에서의 영상타이밍요소(E1)이 상응하는 위치로 자동적으로 이동하고, 사용자는 단순히 영상재생 버튼을 클릭함으로써, 특정 감정이 강하거나 약했던 때의 자신의 모습을 신속하게 파악할 수 있는 효과를 발휘할 수 있다.

도 12는 본 발명의 몇 실시예에 따른 평가모델학습과 관련된 단계들을 개략적으로 도시한다.

도 5를 참조하여 설명한 면접영상평가부(1300)는 서버시스템(1100)의 1 이상의 평가모델을 이용하여, 자동평가정보를 생성한다. 한편, 상기 1 이상의 평가모델은 1 이상의 기계학습된 평가모듈을 포함할 수 있고, 도 6의 호감도, 집중도, 신뢰감, 활기참, 침착성, 소통능력, 눈마주침, 친절함, NO습관어, 유쾌함, 도 7의 개방성, 성실성, 외향성, 친화성, 신경성, 도 11의 감정에 대한 평가가 기계학습된 평가모듈에 기반하여 도출된 자동평가결과에 해당한다.

이하에서는, 기계학습된 평가모듈을 보다 개선시키는 방법에 대하여 설명하도록 한다.

본 발명의 일 실시예에 따른 피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 학습시키는 방법은 1 이상의 프로세서 및 1 이상의 메모리를 갖는 서버시스템(1000)에서 수행될 수 있다. 본 발명의 일 실시예에서는 도 2의 서버시스템(1000)의 평가정보관리부(1500)에서 수행될 수 있다.

이오 같은 평가모델을 학습시키는 방법은, 기설정된 질문세트 중 1 이상의 질문정보를 사용자단말기에 송신하고, 상기 사용자단말기로부터 상기 질문정보에 응답을 수행한 면접영상을 수신하여 저장하는 면접영상저장단계(S10, S11, S12); 상기 면접영상을 평가자단말기에 제공하는 단계(S13); 해당 면접영상에 대하여 복수의 평가자의 평가정보를 수집하는 평가정보수집단계(S14); 상기 복수의 평가자의 평가정보로부터 복수의 평가자에 대한 신뢰도정보를 산출하는 신뢰도산출단계(S15); 및 산출된 상기 신뢰도정보 및 상기 평가정보를 이용하여 상기 평가모델을 학습하는 평가모델학습단계(S16); 상기 학습된 평가모델에 의하여 면접영상에 대한 자동평가결과를 도출하는 평가결과제공단계(S17); 및 자동평가결과를 포함하는 평가결과를 회원, 평가자 등의 사용자단말기에 전송하는 평가결과제공단계(S18, S19)를 포함한다.

상기 면접영상저장단계(S10, S11, S12)는 도 2의 면접영상저장부(1200)에 의하여 수행될 수 있다.

상기 면접영상을 평가자단말기에 제공하는 단계(S13); 해당 면접영상에 대하여 복수의 평가자의 평가정보를 수집하는 평가정보수집단계(S14)는 도 2의 평가정보수집부(1510)에 의하여 수행될 수 있다. 평가정보수집부(1510)는 S13의 단계 없이 평가자단말기로부터 평가정보를 수집하는 형태로 구현될 수 있다.

상기 복수의 평가자의 평가정보로부터 복수의 평가자에 대한 신뢰도정보를 산출하는 신뢰도산출단계(S15); 및 산출된 상기 신뢰도정보 및 상기 평가정보를 이용하여 상기 평가모델을 학습하는 평가모델학습단계(S16) 각각은 도 2의 신뢰도산출부(1520) 및 평가모델학습부(1530)에 의하여 수행될 수 있다.

상기 학습된 평가모델에 의하여 면접영상에 대한 자동평가결과를 도출하는 평가결과제공단계(S17); 및 자동평가결과를 포함하는 평가결과를 회원, 평가자 등의 사용자단말기에 전송하는 평가결과제공단계(S18, S19);는 각각 도 2의 면접영상평가부(1300) 및 평가결과제공부(1400)에 의하여 수행될 수 있다.

본 발명의 일 실시예에 따른 상기 평가모델을 학습시키는 방법은, 상기 면접영상의 촬영자가 지원하고자 하는 지원기관의 사용자단말기에 대하여, 해당 면접영상에 대하여 상기 평가모델에 기초하여 자동적인 평가결과를 제공하는 평가결과제공단계를 포함한다. 이와 같은 단계는 도 12의 단계 S19에 해당할 수 있다. 이 경우 서버시스템(1000)은 실제 온라인 면접을 수행하는 서버로 기능할 수 있다.

바람직하게는, 상기 서버시스템(1000)은 각각의 지원기관에 따른 각각의 평가모델을 포함한다. 즉, A사, B사, C사가 있는 경우에, 서버시스템(1000)은 A사, B사, C사 각각에 지원한 지원자들의 면접영상에 대하여 서로 다른 평가모델에 의하여 자동평가결과를 A사, B사, C사에 제공한다. 즉, 각 회사는 각 회사의 인재 평가기준이 반영된 평가모델에 따른 자동평가결과를 제공받을 수 있다.

이 경우, 상기 평가모델학습단계에서는, 상기 평가모델은 상기 지원기관에 상응하는 평가자의 평가정보에 의하여 학습된다.

즉, A사의 평가모델의 경우에는 A사의 평가자, 예를 들어 A사의 인사팀에서 면접영상에 대한 평가결과에 의하여 학습 혹은 재학습이 이루어진다. 이와 같은 방식으로 본 서버시스템(1000)은 각각의 회사의 인재상 등을 반영하여 자동평가결과를 인사팀에 제공할 수 있는 효과를 발휘할 수 있다

이와 같은 회사별로 평가모델을 학습시키는 경우에는 각각의 회사의 평가자들의 평가정보에 의하여 평가모델이 지속적 혹은 일시적으로 학습된다. 본 발명의 일 실시예에서는 기본적인 평가모델이 주어지고, 이후 회사별로 서버시스템(1000)의 평가정보관리부(1500)에 의하여 평가모델이 학습될 수 있다.

한편, 이와 같은 회사별 평가자의 평가정보에 의하여, 각각의 회사의 자동평가결과를 도출하는 평가모델이 학습되는 경우에, 각각의 회사의 평가자의 바이어스가 반영되는 경우, 평가모델의 정확도가 저하될 수 있다.

특히, 회사별 평가자료에 의한 평가모델의 강화는 각각의 회사의 관리에 의하여 이루어지는 데, 이 경우 서버시스템(1000)의 서비스를 제공하는 회사와 별도로 독립적으로 이루어질 수 있고, 잘못된 학습이 이루어질 수 있다.

본 발명의 일 실시예에서는, 이와 같은 잘못된 학습을 방지하기 위하여 복수의 평가자에 의한 평가결과에 기반하여 평가모델을 학습시키되, 복수의 평가자의 바이어스에 의한 영향을 최소화시켜서, 평가자들의 잠정적인 합의 결과에 따라 평가모델을 학습한다.

또한, 본 발명의 일 실시예에 따른 서버시스템(1000)의 운영은 특정 회사에서의 실제 지원자들의 온라인면접에 대한 평가결과를 실제 지원자들의 채용여부의 결정에도 이용하면서, 동시에 특정 회사의 온라인면접에 대한 자동평가결과를 도출하는 평가모델의 개선에 이용할 수도 있다. 이후, 특정회사의 평가자들은 학습 혹은 개선된 평가모델의 자동평가결과를 참조 혹은 이용하면서, 온라인면접을 진행할 수 있다.

본 발명의 서버시스템의 동작에 있어서, 상기 도 12의 단계들의 순서는 본 발명의 평가정보에 의한 평가모델 학습 및 학습된 평가모델에 기반한 평가결과를 제공이 이루어진다면 세부적인 단계들의 순서는 변동될 수 있다.

예를들어, 복수의 면접영상에 대해, S12 내지 S16이 이루어진 후에, 이후에 입력된 면접영상에 대하여, S17 및 S18의 단계가 이루어질 수 있다.

또한, 예를들어, 본 발명의 서버시스템에서의 동작은 이전에 학습된 평가모델 기반에서 S10, S11, S12, S17, S18 단계들이 수행되어 반드시 해당 기업에 지원하고자 하는 지원자에 한정하지 않은 넓은 범위의 면접영상을 의도적으로 수집한 후에, 수집된 면접영상들에 대하여 S13, S14, S15, S16 이 수행되어, 평가모델을 더욱 학습시킬 수 있다. 이 경우, 본 발명의 다른 실시예에서는 상기 S15에서 산출된 각각의 평가자의 신뢰도에 대한 정보 혹은 신뢰도에 대한 피드백 정보가 각각의 평가자 혹은 평가자의 기관에게 전달될 수도 있다. 이와 같이 평가모델이 해당 회사의 평가자의 신뢰도 및 평가정보가 반영되어 학습이 된 후에, 해당 기관(기업)에서 실제 온라인 면접을 수행되어, 실제적으로 S10, S11, 및 S17이 이루어지고, S18은 해당 기업에 제공될 수도 있다.

즉, 도 12의 단계들은 본 발명의 서버시스템의 운영 혹은 이용에서 수반되는 단계들의 순서의 일 실시예를 도시할 뿐, 본 발명의 범위는 이에 한정되지 않는다.

도 13는 본 발명의 몇 실시예에 따른 평가정보수집부(1510)에서 수신하는 평가자의 평가정보의 데이터 형태를 개략적으로 도시한다.

도 13의 (A)는 평가항목이 단일인 경우에 복수의 평가자가 입력한 평가정보를 도시한다.

도 13의 (B)는 평가항목이 복수인 경우에 복수의 평가자가 입력한 평가정보를 도시한다. 즉, 본 발명의 일 실시예에서는, 도 13의 (B)에서와 같이 상기 평가정보는 해당 면접영상에 대한 복수의 평가자의 복수의 평가항목에 대한 복수의 평가자가 각각 입력한 평가점수일 수 있다.

상기 평가정보의 1 이상의 항목은 도 6 내지 11에 도시된 다양한 평가항목 중 1 이상에 해당할 수 있다. 서버시스템(1000)의 평가정보수집부(1510)는 이와 같은 복수의 평가자의 단일 혹은 복수의 평가항목의 평가점수를 포함하는 평가정보를 수집한다.

도 14은 본 발명의 복수의 평가자의 평가정보 데이터의 일 예를 도시한다.

상기 신뢰도산출단계(S15)는 복수의 평가자의 평가정보로부터 복수의 평가자에 대한 신뢰도정보를 산출한다. 예를들어, 해당 기업의 인사팀의 일원인 평가자 A, B, C, D가 있다고 가정하는 경우에, 동일한 면접영상 및 평가항목에 대하여 평가자 A, B, C의 평가결과에 비해서, D의 평가결과가 상당히 상이하다면, 평가자 D의 평가결과에 오류가 있을 가능성이 있거나 혹은 해당 기업의 인사팀의 인재판단 기준과 거리가 있는 판단을 평가자 D가 했을 가능성이 있다.

따라서, 본 발명의 일 실시예에서는 평가자의 평가정보를 그대로 이용하여 평가모델을 학습시키는 것이 아니라, 복수의 평가자에 의한 평가정보를 수신하고, 복수의 평가자의 평가정보 사이의 관계에 기초하여, 각각의 평가자의 신뢰도정보 혹은 신뢰도점수를 산출하고, 산출된 신뢰도점수가 반영된 평가정보에 기초하여 평가모델을 학습시킨다.

본 발명의 일 실시예에서는, 신뢰도산출단계에서의 신뢰도정보는 평가자별 평가항목별 신뢰도점수를 포함할 수 있다. 바람직하게는, 복수의 평가자의 특정 평가항목에 대한 평가점수를 가정하는 경우에, 상기 신뢰도산출단계는, 해당 비디오에 대한 특정 평가항목에서의 복수의 평가자의 평균 평가점수와의 차이가 클수록 신뢰도점수를 낮게 산출한다.

예를들어, 도 14의 (A), (B)는 동일한 면접영상에 대한 특정 평가항목에 대해, 평가자 A, B, C, D, E, F, G, H, I, J, K가 평가를 했다고 하는 경우에, 각각의 평가자의 평가점수 및 모든 평가자의 평가점수의 평균값(라인)을 도시한다.

도 14의 (A)는 모든 평가자들은 비교적 유사한 평가점수를 도출해낸 케이스에 해당하고, 도 14의 (B)는 평가자 E, H, J가 다른 평가자와는 차이가 큰 평가점수를 도출해낸 케이스에 해당한다.

서버시스템(1000)의 신뢰도산출부(1520)는 도 14의 (B)의 평가자 E, H, J 혹은 평가자 E, H, J의 평가정보에 대하여 상대적으로 낮은 신뢰도점수를 산출하고, 이후, 평가정보관리부(1500)는 이와 같이 산출된 신뢰도점수를 반영하여, 평가모델을 학습시킨다.

본 발명의 가장 기본적인 실시예는, 평가자들의 평가점수의 평균값으로부터의 차이 혹은 차이의 제곱에 비례하여 각 평가자들의 신뢰도점수를 도출할 수 있다.

예를 들어, 평가자 A, B, C, D, E가 특정 항목에 대하여 88, 77, 55, 70, 80이라는 평가점수를 부여되고, 신뢰도가 평가점수의 평균값으로부터의 차이의 제곱에 반비례한다고 가정하는 경우(신뢰도=1/(평가점수-평균평가점수)^2)에, 각각의 신뢰도는 하기와 같이 계산될 수 있다.

평가자	A	B	C	D	E
점수	88	77	55	70	80
평균점수	74
신뢰도	0.005102	0.111111	0.00277	0.0625	0.027778

도 15는 본 발명의 일 실시예에 따른 신뢰도산출부(1520)의 수행단계들 혹은 신뢰도산출단계에서의 세부단계들을 개략적으로 도시한다.

도 15에 도시된 실시예는 현재 결정된 평가자들의 신뢰도에 기반하여 추정점수(Ground Truth)를 결정하고, 결정된 추정점수와 평가자들의 평가점수에 기반하여 신뢰도가 기설정된 기준 이내로 업데이트 하는 과정을 반복하는 방식이다.

S100에서는 특정 평가항목에 대하여) 복수의 평가자별 초기 신뢰도를 도출한다. 이와 같은 초기 신뢰도는 모든 평가자들이 동일한 값을 갖거나, 혹은 이전의 평가결과 등에 기초하여 산출될 수 있다.

이후, 단계 S110에서는, 특정 평가항목에 대하여 복수의 평가자별 신뢰도점수 및 복수의 평가자별 평가점수를 적용하여 추정점수를 도출하는 제1단계가 수행된다. 즉, S110에서는 현재 할당된 평가자별 신뢰도점수를 평가자별 평가점수에 적용하여 단일의 추정점수를 도출한다.

바람직하게는, 평가자별 신뢰도점수가 높은 평가자의 경우 보다 높은 가중치를 적용하여 추정점수를 도출한다.

상기의 식에서는

는 추정점수를 의미하고,

는 j번째 평가자의 평가점수를 의미하고,

는 각 평가자별 신뢰도에 해당한다.

이후, 단계 S120에서는, 산출된 상기 추정점수(

)와 평가자별 평가점수에 기초하여 평가자별 신뢰도점수를 업데이트하는 제2단계가 수행된다. 즉 현재의 평가자별 신뢰도점수에 의하여 도출된 추정점수에 기초하여 다시 평가자별 신뢰도점수를 업데이트한다.

본 발명의 일 실시예에서는,

에 의하여, 신뢰도 점수를 업데이트할 수 있다.

이후, 단계 S130에서는, 상기 제1단계에서 현재 도출된 추정점수와 이전에 도출된 1 이상의 추정점수에 기초하여 추정점수가 기설정된 범위 내에서 수렴하는지 여부를 판단하는 제3단계;가 수행된다.

이후, 상기 제3단계에서 추정점수가 기설정된 범위 내에서 수렴한다고 판단하는 경우에 산출된 평가자별 신뢰도점수를 신뢰도정보로 산출하고, 상기 3단계에서 추정점수가 기설정된 범위 내에서 수렴하지 않는다고 판단하는 경우에는 상기 제1단계, 제2단계, 및 제3단계를 반복하도록 한다.

상기 신뢰도점수의 산출 및 추정점수의 산출은 다양한 방법에 따라서 이루어질 수 있다. 구체적으로, EM-방식의 반복 최적화 기법 등이 이용될 수도 있다.

예를 들어, 평가자 A, B, C, D, E가 특정 항목에 대하여 88, 77, 55, 70, 80이라는 평가점수를 부여되고, 초기 신뢰도는 A, B, C, D, E가 동일하다고 가정하고, 신뢰도가 평가점수의 평균값으로부터의 차이의 제곱에 반비례한다고 가정하는 경우(신뢰도=1/(평가점수-평균평가점수)^2)에, 각각의 계산단계에서의 평가자들의 신뢰도는 하기와 같이 계산될 수 있다.

	평가자	A	B	C	D	E
	점수	88	77	55	70	80
1차	신뢰도	1	1	1	1	1
1차	추정점수	74	74	74	74	74
2차	신뢰도	0.005102	0.111111	0.00277	0.0625	0.027778
2차	추정점수	75.28451	75.28451	75.28451	75.28451	75.28451
3차	신뢰도	0.006185	0.339799	0.00243	0.035809	0.044972
3차	추정점수	76.76426	76.76426	76.76426	76.76426	76.76426

도 16은 본 발명의 일 실시예에 따른 평가모델학습부(1530)의 동작을 개략적으로 도시한다.

구체적으로 상기 평가모델학습부(1530)는 평가자들의 평가정보 및 평가자들의 신뢰도정보에 기초하여 평가모델을 재학습시켜 강화된 평가모델로 업데이트한다.

본 발명의 일 실시예에서는, 상기 평가정보관리부(1500)는 해당 평가항목에 대하여 복수의 평가자의 복수의 평가점수에 대해 상기 신뢰도정보에 포함된 평가자별 신뢰도점수를 가중치로 반영하여, 종합평가점수를 도출한다.

이후, 평가정보관리부(1500)는 도출된 종합평가점수 및 해당 면접영상에 기초하여 상기 해당 평가항목에 대해 상기 평가모델을 학습시킨다.

구체적으로, 특정 면접영상에 대한 특정항목(예를들어, 종합추천지수 혹은 활기참 등의 항목)에 대하여 평가자 A, B, C, D, E의 점수가 88, 77, 55, 70, 80으로 주어지고, 이들의 점수로부터 도출된 각각의 신뢰도가 0.006, 0.339, 0.002, 0.035, 0.449로 도출되는 경우에, 해당 면접영상에 대한 특정항목에 대한 학습은 88, 77, 55, 70, 80으로 이루어지는 것이 아니라, 각각의 점수에 신뢰도가 적용된 값, 예를들어 78.353 ((88*0.006+77*0.339+55*0.002+70*0.035+80*0.449)/(0.006+0.339+0.002+0.035+0.449))이 학습값으로 입력될 수 있다.

혹은, 본 발명의 다른 실시예에서는, 각각의 평가정보에 신뢰도정보가 가중치로 적용되어, 각각의 평가자의 평가정보를 기반으로 평가모델이 학습될 수도 있다.

도 17은 본 발명의 일 실시예에 따른 평가정보관리부의 내부 구성을 개략적으로 도시한다.

도 17에 도시된 평가정보관리부(1500)은 해당 면접영상에 대하여 복수의 평가자의 평가정보를 수집하는 평가정보수집부(1510); 상기 복수의 평가자의 평가정보로부터 복수의 평가자에 대한 신뢰도정보를 산출하는 신뢰도산출부(1520); 및 산출된 상기 신뢰도정보 및 상기 평가정보를 이용하여 상기 평가모델을 학습하는 평가모델학습부(1530); 및 상기 신뢰도정보 및 상기 평가정보에 기초하여 해당 지원자의 평가정보를 산출하는 평가정보산출부(1540)을 포함한다.

본 발명의 일 실시예에서는, 상기 서버 시스템은 온라인 면접을 수행하는 시스템으로 이용될 수 있다. 우선, 전술한 바와 같이 평가모델학습부(1530)는 평가자의 신뢰도정보를 반영한 평가정보에 기초하여 해당 기업의 평가모델을 학습시킨다.

이후, 상기 서버 시스템이 온라인 면접을 수행함에 있어서, 상기 학습된 평가모델로 면접영상에 대한 자동 평가결과를 도출하고, 상기 평가정보산출부(1540)은 2차적으로 평가자들의 평가정보에 대해 신뢰도산출부(1520)에서 산출된 신뢰도를 반영하여, 해당 면접영상의 지원자에 대한 종합점수를 산출할 수 있다. 일 실시예에서는 상기 종합점수는 산출된 상기 신뢰도가 반영된 평가정보에 기초하여 산출이 될 수 있고, 다른 실시예에서는 상기 종합점수는 산출된 신뢰도가 반영된 평가정보 및 상기 평가모델에 의하여 산출된 자동평가정보에 기초하여 종합점수를 산출할 수 있다.

이와 같은 종합점수는 해당 지원자의 면접과정에서의 채용여부를 결정하는 요소로 기업측에서 이용할 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령 어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (9)

1 이상의 프로세서 및 1 이상의 메모리를 갖는 서버 시스템에서 수행되고, 피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 학습시키는 방법으로서,
기설정된 질문세트 중 1 이상의 질문정보를 사용자단말기에 송신하고, 상기 사용자단말기로부터 상기 질문정보에 응답을 수행한 면접영상을 수신하여 저장하는 면접영상저장단계;
해당 면접영상에 대하여 복수의 평가자의 평가정보를 수집하는 평가정보수집단계;
상기 복수의 평가자의 평가정보로부터 복수의 평가자에 대한 신뢰도정보를 산출하는 신뢰도산출단계; 및
산출된 상기 신뢰도정보 및 상기 평가정보를 이용하여 상기 평가모델을 학습하는 평가모델학습단계;를 포함하는, 평가모델을 학습시키는 방법.

청구항 1에 있어서,
상기 평가모델을 학습시키는 방법은,
상기 면접영상의 촬영자가 지원하고자 하는 지원기관의 사용자단말기에 대하여, 해당 면접영상에 대하여 상기 평가모델에 기초하여 자동적인 평가결과를 제공하는 평가결과제공단계를 포함하고
상기 서버 시스템은 각각의 지원기관에 따른 각각의 평가모델을 포함하고,
상기 평가모델학습단계에서는, 상기 평가모델은 상기 지원기관에 상응하는 평가자의 평가정보에 의하여 학습되는, 평가모델을 학습시키는 방법.

청구항 1에 있어서,
상기 평가정보는 해당 면접영상에 대한 복수의 평가자의 복수의 평가항목에 대한 복수의 평가자가 각각 입력한 평가점수인, 평가모델을 학습시키는 방법.

청구항 2에 있어서,
상기 신뢰도정보는 평가자별 평가항목별 신뢰도점수를 포함하는, 평가모델을 학습시키는 방법.

청구항 1에 있어서,
상기 신뢰도산출단계는, 해당 비디오에 대한 특정 평가항목에서의 복수의 평가자의 평균 평가점수와의 차이가 클수록 신뢰도점수를 낮게 산출하는, 평가모델을 학습시키는 방법.

청구항 1에 있어서,
상기 신뢰도산출단계는,
특정 평가항목에 대하여 복수의 평가자별 신뢰도점수 및 복수의 평가자별 평가점수를 적용하여 추정점수를 도출하는 제1단계;
산출된 상기 추정점수와 평가자별 평가점수에 기초하여 평가자별 신뢰도점수를 업데이트하는 제2단계;
상기 제1단계에서 현재 도출된 추정점수와 이전에 도출된 1 이상의 추정점수에 기초하여 추정점수가 기설정된 범위 내에서 수렴하는지 여부를 판단하는 제3단계;를 포함하고,
상기 제3단계에서 추정점수가 기설정된 범위 내에서 수렴한다고 판단하는 경우에 산출된 평가자별 신뢰도점수를 신뢰도정보로 산출하고, 상기 3단계에서 추정점수가 기설정된 범위 내에서 수렴하지 않는다고 판단하는 경우에는 상기 제1단계, 제2단계, 및 제3단계를 반복하는, 평가모델을 학습시키는 방법.

청구항 1에 있어서,
상기 평가모델학습단계는,
해당 평가항목에 대하여 복수의 평가자의 복수의 평가점수에 대해 상기 신뢰도정보에 포함된 평가자별 신뢰도점수를 가중치로 반영하여, 종합평가점수를 도출하고,
도출된 종합평가점수 및 해당 면접영상에 기초하여 상기 해당 평가항목에 대해 상기 평가모델을 학습시키는, 평가모델을 학습시키는 방법.

피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 학습시키는 방법을 수행하는 서버 시스템으로서,
기설정된 질문세트 중 1 이상의 질문정보를 사용자단말기에 송신하고, 상기 사용자단말기로부터 상기 질문정보에 응답을 수행한 면접영상을 수신하여 저장하는 면접영상저장부;
기계학습을 이용한 평가모델을 통하여 상기 면접영상에 대한 자동평가정보를 생성하는 면접영상평가부;
해당 면접영상에 대하여 복수의 평가자의 평가정보를 수집하는 평가정보수집부;
상기 복수의 평가자의 평가정보로부터 복수의 평가자에 대한 신뢰도정보를 산출하는 신뢰도산출부; 및
산출된 상기 신뢰도정보 및 상기 평가정보를 이용하여 상기 평가모델을 학습하는 평가모델학습부;를 포함하는, 서버 시스템.

청구항 1 내지 청구항 7 중 어느 한 항에 따르는 평가모델을 학습시키는 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.

Images