KR102297948B1 - 면접영상 자동평가모델을 관리하는 방법, 시스템 및 컴퓨터-판독가능 매체 - Google Patents

Abstract

본 발명은 면접영상 자동평가모델을 관리하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 온라인면접을 수행하고, 면접영상에 대하여 자동평가결과를 제공하는 서버시스템에서, 기업의 실제 평가, 채용, 고과 등에 실제로 부합하는 자동평가결과를 제공하도록 면접영상 자동평가모델을 관리하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것이다.

Description

면접영상 자동평가모델을 관리하는 방법, 시스템 및 컴퓨터-판독가능 매체 {Managing Method, System and Computer-readable Medium for Interview Automatic Evaluation Model}

본 발명은 면접영상 자동평가모델을 관리하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 온라인면접을 수행하고, 면접영상에 대하여 자동평가결과를 제공하는 서버시스템에서, 기업의 실제 평가, 채용, 고과 등에 실제로 부합하는 자동평가결과를 제공하도록 면접영상 자동평가모델을 관리하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것이다.

면접은 일반적으로 면접을 통해 평가를 받는 면접자 및 면접자에 대한 평가를 수행하는 면접관으로 구성되며, 면접관의 질문과 면접자의 답변으로 진행되며 전체 질의응답에 대한 종합평가로 이루어진다.

면접은 질문 및 응답을 통해 면접자의 전문지식, 전문기술 혹은 정보활용능력 등의 하드 스킬(hard skill) 뿐만 아니라 면접자의 태도, 의사소통 능력 등의 소프트 스킬(soft skill) 을 파악하는 것을 목적으로 한다.

한편, 한편 소프트스킬의 경우 객관적인 평가 결과를 제공하기는 어려운 실정이고, 특히 소프트 스킬의 경우에는 다양한 면접관으로서의 경험이 있는 평가자만이 바른 평가를 내릴 수 있다. 특히, 면접영상에 따른 온라인으로 면접을 수행하는 경우에, 소프트스킬에 대한 정확한 평가를 하기 어렵다는 문제가 있다.

또한, 소프트 스킬은 면접관의 주관적 경험과 직관에 따라 다르게 판단되는 영역으로서, 면접관에 따라 평가 기준 및 평가 방법 등이 달라질 수 있다. 이와 같이 면접관의 주관에 따라 달라지는 평가 방법에 의해 면접자의 소프트 스킬이 객관적으로 평가되기 어려운 문제가 있다.

한편, 기업이 온라인면접을 통하여 수많은 지원자들의 면접영상을 수집하는 경우에 이에 대해 모두 일일이 확인하기가 어렵다는 문제가 있다. 또한, 이에 대해 평가모델을 통하여 지원자들의 면접영상에 대해 자동평가결과를 도출하여 이를 제공하는 경우에 평가모델의 결과가 실제 지원자의 평가에 부합하지 않거나. 혹은 지원 회사의 인재상에는 부합하지 않거나, 혹은 실제 채용 후의 실적, 고과 등에는 부합하지 않는 경우가 발생할 수 있다는 문제점이 있다.

본 발명은 온라인면접을 수행하고, 면접영상에 대하여 자동평가결과를 제공하는 서버시스템에서, 기업의 실제 평가, 채용, 고과 등에 실제로 부합하는 자동평가결과를 제공하도록 면접영상 자동평가모델을 관리하는 방법, 시스템 및 컴퓨터-판독가능 매체를 제공하는 것을 그 목적으로 한다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 서버 시스템에서 수행되고, 피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 관리하는 방법으로서, 피평가자가 온라인면접시에 수행한 면접영상에 대한 평가자들의 영상평가결과에 의하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 영상평가결과학습단계; 및 해당 피평가자의 지원기업에서의 실제 채용면접에서의 채용평가결과에 의하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 상기 평가모델을 학습하는 채용평가결과학습단계;를 포함하고, 상기 평가모델은 기계학습된 1 이상의 세부평가모델을 포함하는, 평가모델을 관리하는 방법을 제공한다.

본 발명의 일 실시예에서는, 상기 평가모델을 관리하는 방법은, 해당 피평가자의 지원기업에서의 실제 채용 후 업무능력에 대한 고과평가결과에 의하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 고과평가결과학습단계;를 더 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 평가모델을 관리하는 방법은, 수신된 면접영상에 대해 면접영상에서 지원하고자 하는 기업측에 대하여 상기 평가모델에 기초하여 도출된 자동평가결과를 제공하는 평가결과제공단계를 더 포함하고, 상기 평가모델은 피평가자가 온라인 면접을 지원하고자 하는 기업별로 각각 상기 서버 시스템에 구비될 수 있다.

본 발명의 일 실시예에서는, 상기 평가모델은, 면접영상에 대하여 공통적인 특징정보를 도출하는 공통평가모델; 상기 공통적인 특징정보에 기초하여, 상기 영상평가결과와 관련된 평가결과를 도출하는 영상평가결과예측모델; 및 상기 공통적인 특징정보에 기초하여, 상기 채용평가결과와 관련된 평가결과를 도출하는 채용평가결과예측모델;를 포함하고, 상기 평가자들의 종합평가결과에 의하여 상기 공통평가모델 및 상기 영상평가결과예측모델이 학습되고, 상기 평가자들의 채용평가결과에 의하여 상기 공통평가모델 및 상기 채용평가결과예측모델이 학습될 수 있다.

본 발명의 일 실시예에서는, 상기 평가모델은, 면접영상에 대하여 공통적인 특징정보를 도출하는 공통평가모델; 상기 공통적인 특징정보에 기초하여, 상기 영상평가결과와 관련된 평가결과를 도출하는 영상평가결과예측모델; 상기 공통적인 특징정보에 기초하여, 상기 채용평가결과와 관련된 평가결과를 도출하는 채용평가결과예측모델; 및 상기 공통적인 특징정보에 기초하여, 상기 고과평가결과와 관련된 평가결과를 도출하는 고과평가결과예측모델을 포함하고, 상기 평가자들의 종합평가결과에 의하여 상기 공통평가모델 및 상기 영상평가결과예측모델이 학습되고, 상기 평가자들의 채용평가결과에 의하여 상기 공통평가모델 및 상기 채용평가결과예측모델이 학습되고, 상기 평가자들의 고과평가결과에 의하여 상기 공통평가모델 및 상기 고과평가결과예측모델이 학습될 수 있다.

본 발명의 일 실시예에서는, 상기 평가모델은, 면접영상에 대하여 공통적인 특징정보를 도출하는 공통평가모델;을 포함하고, 상기 공통평가모델은, 상기 면접영상의 복수의 프레임의 이미지정보로부터 복수의 영상특징정보를 도출하는 공간 특징정보를 추출하는 제1딥뉴럴네트워크; 상기 면접영상의 복수의 음성정보로부터 복수의 음성특징정보를 도출하는 공간 특징정보를 추출하는 제1딥뉴럴네트워크; 상기 복수의 영상특징정보를 수신하여 제1특징정보를 도출하는 제1순환신경망 모듈; 및 상기 복수의 음성특징정보를 수신하여 제2특징정보를 도출하는제2순환신경망모듈;을 포함할 수 있따.

본 발명의 일 실시예에서는, 상기 평가모델을 관리하는 방법은, 수신된 면접영상에 대해 면접영상에서 지원하고자 하는 기업측에 대하여 상기 평가모델에 기초하여 도출된 자동평가결과를 제공하는 평가결과제공단계를 더 포함하고, 상기 자동평가결과는, 상기 영상평가결과와 관련된 평가예측결과, 및 상기 채용평가결과와 관련된 평가예측결과를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 평가모델을 관리하는 방법은, 수신된 면접영상에 대해 면접영상에서 지원하고자 하는 기업측에 대하여 상기 평가모델에 기초하여 도출된 자동평가결과를 제공하는 평가결과제공단계를 더 포함하고,

상기 자동평가결과는, 상기 영상평가결과에 의하여 학습된 1 이상의 세부평가모델 및 상기 채용평가결과에 의하여 학습된 1 이상의 세부평가모델의 평가값에 기초한 면접영상에 대한 종합적인 평가결과를 포함할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 서버 시스템에서 수행되고, 피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 관리하는 방법으로서, 피평가자가 온라인면접시에 수행한 면접영상에 대한 평가자들의 영상평가결과에 의하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 영상평가결과학습단계; 및 해당 피평가자의 지원기업에서의 실제 채용 후 업무능력에 대한 고과평가결과에 의하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 고과평가결과학습단계;를 포함하고, 상기 평가모델은 기계학습된 1 이상의 세부평가모델을 포함하는, 평가모델을 관리하는 방법을 제공한다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 관리하는 서버 시스템으로서, 피평가자가 온라인면접시에 수행한 면접영상에 대한 평가자들의 영상평가결과에 의하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 영상평가결과학습부; 및 해당 피평가자의 지원기업에서의 실제 채용면접에서의 채용평가결과에 의하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 상기 평가모델을 학습하는 채용평가결과학습부;를 포함하고, 상기 평가모델은 기계학습된 1 이상의 세부평가모델을 포함하는, 평가모델을 관리하는 서버 시스템을 제공한다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 전술한 평가모델을 관리하는 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체을 제공한다.

도 1은 본 발명의 일 실시예에 따른 면접영상 자동평가모델을 관리하는 방법의 전체적인 시스템 형태를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 서버 시스템의 내부 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 평가모델을 학습하는 단계들을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 면접영상저장부의 동작에 따른 피평가자단말기에서의 화면을 개략적으로 도시한다.
도 5은 본 발명의 일 실시예에 따른 면접영상평가부의 동작을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 평가모델을 구성하는 내부 모델들을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 평가모델의 내부 구조를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 평가모델의 학습단계들을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 공통평가모델의 내부구성을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 부분평가모델의 내부구성을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 평가결과제공부의 동작에 의한 사용자단말기에서의 표시화면의 일 예를 도시한다.
도 12는 본 발명의 일 실시예에 따른 평가결과제공부의 동작에 의한 사용자단말기에서의 표시화면의 일 예를 도시한다.
도 13은 본 발명의 일 실시예에 따른 평가결과제공부의 동작에 의한 사용자단말기에서의 표시화면의 일 예를 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드 (Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network;LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 온라인 면접이 수행되거나 혹은 면접영상 자동평가모델을 관리하는 방법에 따른 서버시스템(1000)의 전체적인 형태를 개략적으로 도시한다.

도 1에 도시된 서버시스템(1000)에서는 자동화된 방식으로 피평가자단말기로부터 면접영상을 수신하고, 이에 대해 기계학습된 평가모델을 통하여 소프트 스킬 등에 대한 자동평가결과를 접속된 회원, 지원기관(회사), 평가자 단말기 등에 제공할 수 있다. 본 발명의 바람직한 실시예에서는 상기 서버시스템(1000)은 실제의 온라인 면접이 수행되는 데 이용되고, 피평가자단말기는 해당 기업에 지원하고자 하는 사용자의 단말기에 해당하고, 평가자단말기는 상기 피평가자단말기에 의하여 제공되는 면접영상에 대한 평가결과, 혹은 해당 면접영상의 지원자에 대한 평가결과를 제공하는 단말기에 해당할 수 있다.

즉, 도 1에 도시된 서버시스템(1000)은 지원자의 특정 기관에 대한 실제 온라인 면접을 수행하는 시스템으로 이용될 수도 있다. 이 경우, 피평가자단말기로부터 수신한 면접영상 등의 면접 결과는 기관의 단말기에 송신될 수 있다.

또한, 도 1에 도시된 서버시스템(1000)은 평가자단말기에서 접속하여 평가정보를 입력하는 형태로 이용될 수 있다. 이 경우, 서버시스템(1000)의 평가모델학습부(1600)는 평가자단말기 등에서 입력된 평가정보에 기초하여 자동평가모델을 학습 및 개선시킬 수 있다.

이와 같이, 도 1에 도시된 서버시스템(1000)은 피평가자단말기로부터 면접영상을 수신하고, 이에 대한 자동평가정보를 기관단말기, 평가자단말기 및 피평가자단말기 중 1 이상에 대해 송신을 할 수 있다. 동시에 상기 서버시스템(1000)은 평가자단말기 등으로부터 수신한 평가결과를 통하여 서버시스템(1000)의 평가모델을 학습 혹은 개선시킬 수 있는 복합적인 기능을 수행할 수 있다.

이하에서는, 상기 서버시스템(1000)이 실제 온라인면접에 이용이 되고, 이후 다양한 학습데이터에 의하여 자동평가모델이 개선 및 관리되는 방법을 중심으로, 본 발명의 서버시스템(1000)에 대해서 설명하도록 한다.

도 1의 피평가자단말기, 평가자단말기는 전술한 사용자 단말에 해당할 수 있고, 서버시스템(1000)은 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅 장치에 해당한다.

평가자단말기는 온라인면접에서의 채용측, 즉 기업측 담당자가 이용하는 단말기, 혹은 면접영상 혹은 지원자에 대한 평가결과를 서버시스템(1000)으로 송신하는 단말기가 이에 해당할 수 있다.

피평가자단말기 혹은 평가자단말기는 상기 서버시스템(1000)에 웹브라우져 프로그램을 통하여 접속하거나 혹은 전용 애플리케이션을 통하여 서버시스템(1000)에 접속할 수 있다.

피평가자단말기 혹은 평가자단말기는 사용자 각각의 계정으로 상기 서버시스템(1000)에 로그인하여 상기 서버시스템(1000)의 서비스를 이용할 수 있다.

피평가자단말기 혹은 평가자단말기는 각각 상이한 형태의 계정, 예를 들어 지원자(피평가자) 타입의 계정, 평가자 타입의 계정, 및 기관 타입(채용을 하고자 하는 기업 등)의 계정으로 상기 서버시스템(1000)에 로그인할 수 있다.

도 2는 본 발명의 일 실시예에 따른 서버시스템(1000)의 내부 구성을 개략적으로 도시한다.

본 발명의 서버시스템(1000)은 실제 기업과 온라인 면접을 수행하는 시스템으로 이용될 수도 있다. 구체적으로, 지원자가 피평가자단말기를 통하여 면접영상을 서버시스템(1000)에 전송하고, 서버시스템(1000)은 수신한 면접영상 및/또는 자동화된 평가정보 등을 기관의 단말기(평가자단말기)에 제공할 수도 있다.

동시에, 본 발명의 서버시스템(1000)은 자동적으로 평가정보를 생성하는 평가모델을 보다 개선시키는 동작을 수행할 수 있다.

한편, 본 발명의 서버시스템(1000)은 물리적으로 단일의 서버가 아닌 복수의 서버를 포함하는 형태로 구현될 수 있다. 예를들어, 평가모델학습부(1600)가 별도의 물리적 서버로 구성될 수도 있다. 또한, DB에 포함된 평가모델이 별도의 서버로 구현될 수도 있다.

질문세트설정부(1100)는 면접영상을 수신하기 위해 피평가자단말기에서 재생되는 질문컨텐츠에 대한 질문세트를 구성한다.

바람직하게는, 피평가자가 지원하고자 하는 기관에 대한 정보를 입력하고, 상기 질문세트설정부(1100)는 해당 기관에서 설정한 질문정보에 따라 질문세트를 결정할 수 있따.

상기 서버시스템(1000)에는 각각의 온라인면접이 수행되는 기업별로 기업이 온라인면접에서 진행하고자 하는 질문컨텐츠가 저장되어 있고, 이와 같은 질문컨텐츠는 텍스트, 영상, 음성 중 1 이상으로 구현될 수 있다.

즉, 서버시스템(1000)이 실제 온라인면접을 수행하는 경우에는 질문세트설정부(1100)은 지원자가 지원하고자 하는 기업에 대한 질문리스트에 기초하여 질문세트가 생성된다.

이후, 면접영상저장부(1200)는 질문세트의 질문을 순차적으로 혹은 무작위로 추출하여 이를 피평가자단말기에 전송하고, 피평가자단말기에서 사용자는 해당 질문을 파악한 후에, 이에 대한 응답영상을 서버시스템(1000)으로 전송한다.

면접영상저장부(1200)는 1 이상의 질문정보 혹은 질문컨텐츠를 피평가자단말기에 송신하고, 상기 피평가자단말기로부터 상기 질문정보에 응답을 수행한 면접영상을 수신하여 저장한다.

상기 질문정보는 질문텍스트, 질문음성, 및 질문영상 중 1 이상의 형태로 구현될 수 있다.

구체적으로, 피평가자단말기에서는 질문정보에 따른 질문이 표시 혹은 재생이 되는 인터페이스가 제공하고, 사용자단말기에 구비된 카메라 및 마이크에 의하여 촬영된 면접영상을 피평가자단말기로부터 서버시스템(1000)으로 송신되어, 해당 면접영상에 대한 식별정보와 함께 DB에 저장한다.

평가정보수신부(1300)는 온라인면접을 수행함에 있어서 관련된 평가결과, 혹은 평가모델을 학습시키기 위한 영상면접 혹은 해당 지원자에 대한 평가결과를 수신한다. 이와 같은 평가정보수신부(1300)는 도 1에 도시된 평가자단말기로부터 평가결과를 수신하거나 혹은 서버시스템(1000)의 관리자에 의하여 평가결과를 수신할 수 있다.

면접영상평가부(1400)는 기계학습을 이용한 평가모델을 통하여 상기 면접영상에 대한 자동평가정보를 생성한다. 바람직하게는, 상기 평가모델은 기계학습 기반의 1 이상의 세부평가모델을 포함하고, 더욱 바람직하게는 딥러닝 기반의 1 이상의 세부평가모델을 포함할 수 있다.

즉, 서버시스템(1000)은 상기 면접영상을 수신한 후에, 평가모델을 이용하여 자동적으로 평가를 수행하고, 이를 통하여 자동평가정보를 생성한다. 자동평가정보는 호감도, 집중도, 신뢰감, 활기참, 침착성, 소통능력, 눈마주침, 친절함, 습관의 사용여부, 및 유쾌함 중 1 이상을 포함하는 면접과 관련된 영상평가결과; 해당 지원자가 실제 기업에서의 채용 심사를 받는 경우에 판단되는 지원동기, 도전정신, 전문성, 협력성, 회사인재상부합정보 중 1 이상을 포함하는 채용평가결과; 및 해당 지원자가 지원기업에 실제로 채용되고, 이후 고과평가를 받을 때 판단되는 근무성실도, 관리역량, 업무역량, 종합고과등급 중 1 이상을 포함하는 고과평가결과 중 1 이상을 포함할 수 있다. 더욱 바람직하게는, 상기 자동평가결과는 상기 영상평가결과, 상기 채용평가결과, 및 상기 고과평가결과 중 2 이상을 고려하여 산출되는 종합평가결과를 포함할 수 있다.

상기 영상평가결과는 개방성, 성실성, 외향성, 친화성, 및 신경성 중 1 이상을 포함하는 성격특징; 시선처리, 머리움직임, 음성높낮이, 음성높낮이, 음성크기, 및 감정 중 1 이상의 태도특징에 대한 정량적 정보 중 1 이상을 포함할 수도 있다.

바람직하게는, 상기 평가모델은 1 이상의 딥러닝 기반의 학습된 인공신경망 모듈을 포함한다. 상기 평가모델은 학습된 인공신경망 모듈뿐만 아니라 기설정된 규칙에 기반한 세부평가모델을 더 포함할 수도 있다. 즉, 본 발명의 일 실시예에서는, 상기 평가모델은 학습된 인공신경망 모듈 및 규칙에 기반한 세부평가모델을 복합적으로 이용하는 형태에 해당할 수 있다.

상기 평가결과제공부(1500)는 상기 자동평가정보에 기초하여 사용자단말기에 자동평가결과를 제공한다. 구체적으로, 상기 평가결과제공부(1500)는 자동평가정보 혹은 상기 자동평가정보가 가공된 형태의 데이터(자동평가정보가 반영된 인터페이스 구현과 관련된 데이터)를 사용자단말기(예를들어 기업의 인사팀의 단말)에 전송하고, 사용자단말기의 웹브라우져 및 전용애플리케이션에서는 사용자의 선택에 따라 다양한 평가정보가 디스플레이된다.

상기 서버시스템(1000)의 기본적인 동작은 피평가자단말기로부터 수신한 면접영상에 대한 자동적 평가정보를 도출하여, 온라인면접을 수행함에 있어서 평가자측의 영상확인에 대한 부담을 덜어주는 것이다.

한편, 본 발명의 일 실시예에서는 서버시스템(1000)은 평가모델을 학습시키는 데에 이용될 수도 있다. 이와 같은 기능은 평가모델학습부(1600)가 수행한다. 즉, 평가모델학습부(1600)는 피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 학습시키는 방법을 수행한다.

상기 평가모델학습부(1600)는 피평가자가 온라인면접시에 수행한 면접영상에 대한 평가자들의 영상평가결과에 의하여, 상기 서버시스템(1000)의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 영상평가결과학습부(1610); 해당 피평가자의 지원기업에서의 실제 채용면접에서의 채용평가결과에 의하여, 상기 서버시스템(1000)의 면접영상에 대한 자동평가결과를 제공하는 상기 평가모델을 학습하는 채용평가결과학습부(1620); 및 해당 피평가자의 지원기업에서의 실제 채용 후 업무능력에 대한 고과평가결과에 의하여, 상기 서버시스템(1000)의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 고과평가결과학습부(1630) 중 1 이상을 포함한다.

바람직하게는, 상기 평가모델학습부(1600)는 영상평가결과학습부(1610)를 기본적으로 포함하고, 상기 채용평가결과학습부(1620) 및 고과평가결과학습부(1630) 중 1 이상을 포함한다.

평가모델학습부(1600)는 상기 평가자의 평가정보에 기초하여 상기 기계학습을 이용한 평가모델을 학습시킨다. 본 발명의 일 실시예에서는 서버시스템(1000)은 면접영상을 평가자단말기에 송신하고, 이와 같은 영상에 대한 평가를 평가자단말기로부터 수신할 수 있다. 이와 같은 평가자단말기로부터 수신한 평가결과는 온라인면접에서 이용되어, 해당 면접영상의 지원자를 채용함에 있어서 평가요소로 이용되면서, 동시에 서버시스템(1000)의 자동평가결과를 산출하는 평가모델을 학습하는 데 이용될 수 있다.

이와 같은 평가모델학습부(1600)의 동작으로, 온라인면접이 진행되면서, 동시에 서버시스템(1000)은 평가모델의 성능을 자동적으로 지속적으로 개선할 수 있는 효과를 발휘할 수 있다.

한편, 상기 서버시스템(1000)의 DB(1600)에는 피평가자단말기로부터 수신한 면접영상, 해당 면접영상에 대한 면접영상평가부(1400)에서 수행한 자동평가정보, 상기 평가정보수신부(1300)에서 수신한 평가정보(영상에 대한 평가정보, 해당 지원자에 대한 채용결과에 대한 정보, 해당 지원자의 실제 입사 후 고과정보), 피평가자 혹은 평가자의 사용자정보, 면접영상에서 대답을 해야 하는 질문에 대한 질문정보, 및 상기 면접영상평가부(1400)가 면접영상을 평가하는 데 이용이 되고, 상기 평가모델학습부(1600)에 의하여 추가적인 학습이 수행되는 평가모델이 저장되어 있을 수 있다.

도 2에 도시된 서버시스템(1000)은 도시된 구성요소 외의 다른 요소들을 더 포함할 수 있으나, 편의상 본 발명의 실시예들에 따른 온라인 면접 수행, 및 평가모델에 대한 학습과 관련된 구성요소들만을 표시하였다.

도 3은 본 발명의 일 실시예에 따른 평가모델을 학습하는 단계들을 개략적으로 도시한다.

본 발명의 일 실시예에 따른 피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 관리하는 방법은 1 이상의 프로세서 및 1 이상의 메모리를 갖는 서버시스템(1000)에서 수행된다.

단계 S10에서는 피평가자단말기에 질문컨텐츠를 제공하고, 피평가자단말기로부터 면접영상을 수신한다.

단계 S11에서는, 평가자단말기 등으로부터 상기 면접영상에 대한 영상평가결과를 수신한다. 바람직하게는, 지원자가 지원하고자 하는 기업의 인사팀 관계자 혹은 해당 기업과 관련된 채용담당자들이 상기 면접영상에 대해 수행한 평가가 상기 영상평가결과에 해당할 수 있다. 혹은 이와 같은 영상평가결과는 상기 서버시스템(1000)의 서비스를 제공하는 측에서 제공될 수도 있지만, 해당 기업에서 원하는 인재상에 부합하는 인재를 채용하고, 이에 따른 평가모델을 학습하기 위해서는 해당 기업의 채용기준 등을 알고 있는 해당 기업의 관계자가 진행하는 것이 바람직하다.

단계 S11에서는 피평가자가 온라인면접시에 수행한 면접영상에 대한 평가자들의 영상평가결과에 의하여, 상기 서버시스템(1000)의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 영상평가결과학습단계가 수행된다. 이를 통하여, 해당 기업의 온라인면접을 수행하는 평가자 혹은 해당 기업의 채용판단기준이 평가모델에 반영될 수 있다.

한편, 단계 S20에서는 상기 영상평가결과 등을 고려하여, 실제 온라인면접이 이루어지고, 온라인면접 이후에 실제 오프라인 등의 실제 면접이 이루어질 수 있다. 실제 면접을 통하여, 해당 기업은 해당 면접영상의 지원자에 대한 평가를 수행하고, 단계 S13은 기업의 시스템, 기업의 채용관련 담당자의 단말기로부터 해당 면접영상의 지원자의 채용평가결과를 수신할 수 있다. 혹은 상기 기업의 담당자로부터 전달받은 채용평가결과를 서버시스템(1000)의 서비스 관리자가 입력하는 방식으로 단계 S13이 수행될 수 있다.

바람직하게는, 상기 채용평가결과는 해당 지원자에 대한 평가가 실질적으로 완료된 상태에서의 기업에서 평가한 결과에 해당한다. 상기 채용평가결과는 상기 면접영상에 대한 평가를 일부 포함할 수도 있지만, 실질적으로는 해당 기업이 최종적으로 해당 지원자에 대한 채용여부를 결정함에 있어서 판단한 1 이상의 항목에 대한 지표에 해당할 수 있다.

즉, 채용평가결과는 면접영상에 대한 평가를 부분적으로 포함할 수도 있고, 혹은 포함하지 않을 수도 있는, 실제 기업에서 해당 지원자의 채용여부를 결정하는 평가결과에 해당한다.

단계 S14에서는 해당 피평가자의 지원기업에서의 실제 채용면접에서의 채용평가결과에 의하여, 상기 서버시스템(1000)의 면접영상에 대한 자동평가결과를 제공하는 상기 평가모델을 학습하는 채용평가결과학습단계가 수행된다.

이와 같은 학습단계에 의하여, 온라인면접을 수행하는 평가자의 판단 뿐만 아니라, 실제 기업의 채용을 진행하는 인사팀 담당자의 판단 및 실제 오프라인에서의 해당 지원자의 역량에 대한 판단 등이 상기 평가모델에 반영하게 된다. 이와 같은 과정을 통하여, 상기 평가모델은 면접영상과 실제 면접결과와의 상관성이 학습되고, 이에 따라 면접영상으로부터 실제 면접결과에 대한 예측이 가능하게 될 수 있으며, 동시에 영상평가결과의 예측도 보다 정교해질 수 있다.

이후, 단계 S20에서는 해당 지원자가 채용이 되고나서, 예를들어 1, 2년의 시간이 지난 후에, 해당 채용기업에서는 해당 지원자의 고과를 산출할 수 있다. 이후, 단계 S15는 해당평가자에 대한 고과평가결과를 수신한다. 마찬가지로, 단계 S15는 기업의 시스템, 기업의 고과평가관련 담당자의 단말기로부터 해당 면접영상의 지원자의 채용평가결과를 수신할 수 있다. 혹은 상기 기업의 담당자로부터 전달받은 채용평가결과를 서버시스템(1000)의 서비스 관리자가 입력하는 방식으로 단계 S15이 수행될 수 있다.

단계 S16에서는, 해당 피평가자의 지원기업에서의 실제 채용 후 업무능력에 대한 고과평가결과에 의하여, 상기 서버시스템(1000)의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 고과평가결과학습단계가 수행된다.

이와 같은 학습단계에 의하여, 온라인면접을 수행하는 평가자의 판단, 실제 기업의 채용을 진행하는 인사팀 담당자의 판단 및 실제 오프라인에서의 해당 지원자의 역량에 대한 판단 뿐만 아니라 해당 면접영상의 지원자의 실제 채용 후의 역량에 대한 실제적 판단이 상기 평가모델에 반영하게 된다. 이와 같은 과정을 통하여, 상기 평가모델은 면접영상과 실제 업무시의 업무역량과의 상관성이 학습되고, 이에 따라 면접영상으로부터 실제 업무시의 업무역량에 대한 예측이 가능하게 될 수 있으며, 동시에 영상평가결과의 예측도 보다 정교해질 수 있다.

이후, 단계 S17에서는 위와 같은 과정으로 학습된 평가모델에 의하여 이후 면접영상에 대한 자동평가결과를 산출하여, 이를 기업측으로 제공한다. 위의 단계 S11 내지 S16을 통하여, 평가모델은 실제 기업이 원하는 인재를 도출하는 판단을 보다 정확하게 할 수 있다.

특히 단계 S13을 통하여, 평가모델은 면접영상만으로 실제 지원자의 오프라인 면접 등을 통한 최종 채용 평가결과를 높은 정확도로 도출할 수 있고, 또한 단계 S15를 통하여, 평가모델은 면접영상만으로 실제 지원자가 해당 기업에서 근무할 때의 업무역량, 아웃풋 등을 높은 정확도로 도출할 수 있다. 또한, 단계 S13 및 S15를 통하여 상기 단계 S12에 따른 영상평가결과를 도출하는 평가모델의 정확도를 실제에 맞추어 높일 수 있는 효과를 발휘할 수 있다.

도 4은 본 발명의 일 실시예에 따른 면접영상저장부(1200)의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.

본 발명의 일 실시예에서는, 사용자의 입력에 따라 상기 면접영상저장부(1200)는 사용자가 지원하고자 하는 기업에 대한 질문세트에 포함된 질문을 피평가자단말기에 전송하고, 피평가자단말기에서는 해당 질문에 대한 컨텐츠가 재생되고, 도 4의 (A), (B)의 과정이 수행된 이후에, 촬영된 면접영상을 서버시스템(1000)에 전송하고, 이후 서버시스템(1000)은 수신한 면접영상을 저장한다.

도 4의 (A)에서는 현재 촬영 영상에서 질문이 표시되면서, 카운트다운을 하는 디스플레이요소가 표시된다. 구체적으로 도 4의 (A)의 '7'은 7초 후에 영상촬영이 진행됨을 사용자에게 알리는 표시이다.

도 4의 (B)에서는 도 4의 (A) 화면이 끝나고 영상촬영이 진행되는 화면을 도시한다. 도 4의 (B)에서는 사용자는 이전 화면에서의 질문에 대한 대답을 수행하고, 피평가자단말기에서는 이에 대한 영상을 촬영하여 서버시스템(1000)으로 전송한다.

도 5는 본 발명의 일 실시예에 따른 면접영상평가부(1400)의 동작을 개략적으로 도시한다.

면접영상평가부(1400)는 학습된 평가모델을 이용하여 해당 면접영상에 대한 분석을 수행한다.

상기 평가모델은 면접영상에 대한 평가를 수행하는 다양한 세부평가모델을 포함할 수 있다. 상기 세부평가모델은 딥러닝 기반의 학습된 평가모델에 기초하여 평가를 수행할 수 있는 세부평가모델에 해당하거나 혹은 학습이 아닌 기설정된 루틴 혹은 알고리즘에 따라 특징정보(예를 들어 시선의 위치)를 도출하고, 도출된 특징정보에 대한 평가를 수행하는 세부평가모델에 해당될 수 있다.

본 발명의 일 실시예에서는 상기 면접영상평가부(1400)는 기본적으로 영상 정보 및 음성 정보를 포함하는 면접영상을 입력 받고 딥러닝과 같은 기계학습기술을 통한 학습된 평가모델을 통하여 자동평가정보를 도출한다.

또한, 이에 추가적으로, 상기 면접영상평가부(1400)는 기계학습이 아닌 기설정된 규칙에 따라 영상을 분석하고, 특정 평가값들을 도출할 수도 있다.

상기 세부평가모델은 동영상인 면접영상으로부터 음성 및 영상 정보를 추출하여 이를 각각 세부평가모델에 입력하여 결과값을 도출하거나 혹은 음성 및 영상 정보를 종합하여 세부평가모델에 입력하여 결과값을 도출할 수도 있다.

바람직하게는, 본 발명의 일 실시예에 따른 세부평가모델은 입모양을 통한 말하는 상태 여부를 추론하고, 이를 고려하여 면접영상의 피평가자를 평가하는 모듈을 포함할 수도 있다. 구체적으로 특정 세부평가모델은 면접영상에 포함된 얼굴 중에 입모양 부분을 별도로 검출하고 RNN, LSTM, GRU와 같은 시간적 개념이 포함된 인공 신경망 기술을 이용하여 말을 하고 있는 상태인지 아닌지를 구분하는 모듈을 포함하고, 이러한 정보를 기초하여 영상 정보와 음성 정보에 대해 어느 정도로 가중치로 평가에 영향을 줄 것인지를 자동으로 조절할 수 있도록 구성할 수도 있고, 이와 같은 가중치에 대해서도 학습하도록 모델을 구성할 수 있다.

즉, 이와 같은 구성에서 면접영상에서 입모양을 통해 피평가자 혹은 화자가 말하는 상태가 아닌 경우 자동으로 영상 정보를 좀 더 중요하게 처리(일반 상태보다 상대적으로 높은 가중치를 부여)하고 음성 정보를 덜 중요하게 처리(일반 상태보다 상대적으로 낮은 가중치를 부여)할 수 있다.

바람직하게는, 상기 평가모델은 면접영상의 복수의 프레임에서의 사용자의 시선의 복수의 위치정보를 추출하는 모듈을 포함할 수 있고, 이를 통하여 상기 평가결과제공부(1500)(1400)에 의하여 피평가자단말기에서 시선의 위치현황 및 시선의 이동현황에 대한 정보를 제공할 수 있다.

바람직하게는, 상기 세부평가모델은 면접영상의 복수의 프레임에서의 사용자의 머리 움직임을 추출하는 모듈을 포함할 수 있고, 이를 통하여 상기 평가결과제공부(1500)에 의하여 피평가자단말기에서 머리 움직임에 대한 정보를 제공할 수 있다.

바람직하게는, 상기 세부평가모델은 복수의 프레임에서의 음성높낮이, 음성크기 등의 음성의 소리적 특성값을 추출하는 모듈을 포함할 수 있고, 이를 통하여 평가결과제공부(1500)에 의하여 피평가자단말기에서 음성에 대한 정보를 제공할 수 있다.

바람직하게는, 상기 세부평가모델은 면접영상의 구간별로 감정요소들의 세기를 추출하는 모듈을 포함할 수 있고, 이를 통하여 평가결과제공부(1500)(1400)에 의하여 피평가자단말기에서 감정에 대한 정보를 제공할 수 있다. 이 경우, 상기 딥러닝으로 학습된 인공신경망에 의한 세부평가모델이 이용될 수 있다.

이와 같이 상기 평가모델은 1 이상의 세부평가모델을 포함할 수 있고, 상기 세부평가모델의 일부는 규칙에 기반한 세부평가모델이 될 수도 있지만, 바람직하게는 상기 평가모델은 1 이상의 기계학습된 세부평가모델 혹은 을 포함하고, 본 발명의 일 실시예에서는 평가모델을 학습한다는 것은 상기 세부평가모델을 학습시키는 것을 의미한다.

도 6은 본 발명의 일 실시예에 따른 서버시스템(1000)에 구축된 평가모델들을 개략적으로 도시한다.

전술한 바와 같이 상기 평가모델을 관리하는 방법을 수행하는 서버시스템(1000)은 수신된 면접영상에 대해 면접영상에서 지원하고자 하는 기업측에 대하여 상기 평가모델에 기초하여 도출된 자동평가결과를 제공하는 평가결과제공부(1500)를 포함한다.

바람직하게는, 상기 평가모델은 피평가자가 온라인 면접을 지원하고자 하는 기업별로 각각 상기 서버시스템(1000)에 구비된다.

이와 같은 방식을 통하여, 각각의 기업이 원하는 인재의 기준이 각각 평가모델로 서버시스템(1000)에서 구축되고, 각각의 기업의 평가결과에 따라 평가모델이 학습된다. 예를들어, A, B 기업이 서버시스템(1000)을 이용한다고 가정시, A기업 및 B기업 각각의 평가모델이 서버시스템(1000)에 구축이 되고, A기업의 평가모델을 학습하는 경우에는 A기업에 지원한 지원자들의 면접영상에 대한 A기업의 관계자들이 도출한 영상평가결과, 채용평가결과, 고과평가결과가 반영되어 A기업의 평가모델을 학습시킴으로써, A기업의 인사팀에서의 평가결과와 거의 유사한 평가결과를 낼 수 있도록 A기업의 평가모델을 학습시킨다.

이와 같은 방식으로 면접영상만으로 해당기업의 인사팀이 추측하지 못하는 실제 기업에서의 업무역량에 대한 예측을 상기 평가모델이 수행할 수 있다.

도 7은 본 발명의 일 실시예에 따른 평가모델의 내부 구조를 개략적으로 도시한다.

상기 평가모델은, 복수의 세부평가모델 혹은 평가모듈을 포함할 수 있다. 도 8에 도시된 세부평가모델(공통모델, 제1평가모델 등)은 기계학습 기반의 평가모듈에 해당한다.

본 발명의 실시예들에 따른 평가모델은 도 7에 도시된 세부평가모델 뿐만 아니라 규칙기반으로 평가를 수행하는 세부평가모델들을 더 포함할 수 있지만, 이하에서는 학습과 관계된 세부평가모델을 기준으로 설명을 하도록 한다. 바람직하게는, 도 7에 도시된 평가모델은 특정 기업에 대한 평가모델에 해당한다.

상기 평가모델은 면접영상에 대하여 공통적인 특징정보를 도출하는 공통평가모델; 상기 공통적인 특징정보에 기초하여, 세부적인 평가결과를 도출하는 제1평가모델, 제2평가모델 등을 포함한다.

바람직하게는, 상기 제1평가모델, 제2평가모델 등은 상기 공통적인 특징정보에 기초하여, 상기 영상평가결과와 관련된 평가결과를 도출하는 영상평가결과예측모델, 상기 공통적인 특징정보에 기초하여, 상기 채용평가결과와 관련된 평가결과를 도출하는 채용평가결과예측모델, 및 상기 공통적인 특징정보에 기초하여, 상기 고과평가결과와 관련된 평가결과를 도출하는 고과평가결과예측모델을 포함한다.

즉, 공통평가모델에서 면접영상으로부터 도출된 특징정보에 따라 영상평가결과예측모델, 채용평가결과예측모델, 고과평가결과예측모델이 평가결과를 도출할 수 있다.

이와 같은 방식으로, 영상평가결과, 채용평가결과, 및 고과평가결과로 공통평가모델을 공통적으로 학습시킬 수 있다. 즉, 영상평가결과, 채용평가결과, 및 고과평가결과를 도출하는 모델을 독립시키는 형태로 구축하는 경우에는, 각각의 평가결과의 상관성 혹은 공통평가모델의 강인한 학습이 이루어지지 못하는 반면, 도 7에 도시된 바와 같이 공통평가모델은 각각의 평가결과의 상관성 혹은 공통평가모델의 강인한 학습이 이루어질 수 있다.

예를들어, 도 7과 같은 평가모델에서는 면접영상으로부터 해당 지원자의 실제 채용에 대한 평가 및 실제 업무시의 역량에 대한 평가를 정교하게 예측할 수 있다. 또한, 학습에 있어서도, 표면적인 영상에 대한 평가와 관련된 학습 뿐만 영상 내부에 숨겨져있는 실제 채용때의 결과 및 실제 업무시에서의 결과에 대해서도 학습이 될 수 있다.

도 8은 본 발명의 일 실시예에 따른 평가모델의 학습단계들을 개략적으로 도시한다.

도 8의 (A)는 영상평가결과학습부(1610)에 의하여 해당 면접영상 및 영상평가결과에 기반하여, 세부평가모델 중 공통모델 및 영상평가결과예측모델이 학습되는 것을 도시하고, 도 8의 (B)는 채용평가결과학습부(1620)에 의하여 해당 면접영상 및 채용평가결과에 기반하여, 세부평가모델 중 공통모델 및 채용평가결과예측모델이 학습되는 것을 도시하고, 도 8의 (C)는 고과평가결과학습부(1630)에 의하여 해당 면접영상 및 고과평가결과에 기반하여, 세부평가모델 중 공통모델 및 고과평가결과예측모델이 학습되는 것을 도시한다

이와 같은 세부평가모델의 구성 및 학습방법에 의하여, 어느 평가결과를 통해서도 공통모델을 학습시킬 수 있고, 이를 통하여 특정 카테고리의 평가결과를 통해서 다른 카테고리의 평가결과를 도출하는 평가모델을 학습시킬 수 있다. 예를들어, 해당 면접영상의 지원자가 실제 입사후 고과평가를 받고, 이에 따른 고과평가결과 및 해당 지원자의 지원시의 면접영상에 기초하여 평가모델을 도 8의 (C)와 같이 학습하는 경우에, 공통모델이 학습되고, 이에 따라 영상평가결과의 예측, 채용평가결과의 예측에 있어서도 모델의 정확성이 개선될 수 있다.

도 8에 도시된 공통모델, 영상평가결과예측모델, 채용평가결과예측모델, 및 고과평가결과예측모델은 각각 분리된 형태의 인공신경망 모델에 해당하거나 혹은 하나의 인공신경망 모델의 서브 네트워크에 해당할 수 있다. 즉, 본 발명에서의 평가모델, 세부평가모델, 공통모델, 영상평가결과예측모델, 채용평가결과예측모델, 및 고과평가결과예측모델 등의 용어는 각각의 분리된 인공신경망 모델을 의미할 뿐만 아니라, 인공신경망 모델 내부의 서브 네트워크를 의미하는 최광의로 해석되어야 할 것이다.

도 8에 도시된 공통모델, 영상평가결과예측모델, 채용평가결과예측모델, 및 고과평가결과예측모델이 하나의 인공신경망 모델의 서브 네트워크들 각각에 해당한다면, 도 8에 도시된 공통특징은 상기 인공신경망 모델 내부에서의 중간결과값에 해당할 수 있다.

또한, 도 8에 도시된 공통모델, 영상평가결과예측모델, 채용평가결과예측모델, 및 고과평가결과예측모델이 하나의 인공신경망 모델의 서브 네트워크들 각각에 해당하는 경우, 실질적으로는 공통모델, 영상평가결과예측모델, 채용평가결과예측모델, 및 고과평가결과예측모델는 하나의 인공신경망 모델에 해당하고, 상기 하나의 인공신경망 모델은 1 이상의 파라미터로 구성된 결과값을 도출할 수 있고, 상기 결과값은 예측된 영상평가결과, 예측된 채용평가결과, 예측된 고과평가결과를 모두 포함하는 형태일 수 있다. 이 경우, 도 8의 (A)에서와 같은 학습은 학습데이터로 영상평가결과를 입력하고, (B)에서와 같은 학습은 학습데이터로 채용평가결과를 입력하고, (C)에서와 같은 학습은 학습데이터로 고과평가결과를 입력한다. 이 경우, 인공신경망 모델에서 관련된 서브네트워크들을 중심으로 학습이 수행될 수 있다.

도 9는 본 발명의 일 실시예에 따른 공통평가모델의 내부구성을 개략적으로 도시한다.

도 9에 도시된 실시예에 따른 상기 공통평가모델은, 상기 공통평가모델은, 상기 면접영상의 복수의 프레임의 이미지정보로부터 복수의 영상특징정보를 도출하는 공간 특징정보를 추출하는 제1딥뉴럴네트워크; 상기 면접영상의 복수의 음성정보로부터 복수의 음성특징정보를 도출하는 공간 특징정보를 추출하는 제1딥뉴럴네트워크; 상기 복수의 영상특징정보를 수신하여 제1특징정보를 도출하는 제1순환신경망 모듈; 및 상기 복수의 음성특징정보를 수신하여 제2특징정보를 도출하는제2순환신경망모듈;을 포함한다.

상기 제1딥뉴럴네트워크 및 제2딥뉴럴네트워크는 CNN모듈 등이 이에 해당할 수 있고, 도 9에 도시된 일 실시예에서는 제1딥뉴럴네트워크는 제1CNN모듈에 해당하고, 제2딥뉴럴네트워크는 제2CNN모듈에 해당할 수 있다.

상기 제1순환신경망모듈 및 제2순환신경망모듈은 LSTM모듈 등이 이에 해당할 수 있고, 도 9에 도시된 일 실시예에서는 제1순환신경망모듈은 제1LSTM모듈에 해당하고, 제2순환신경망모듈은 제2LSTM모듈에 해당할 수 있다.

이하에서는 도 9에 도시된 실시예에 기초하여, 본 발명의 일 실시예에 따른 뉴럴네트워크의 동작에 대하여 설명하도록 한다.

상기 복수의 프레임은 기설정된 시간간격으로 영상의 이미지를 분할하여 생성될 수 있다. 또한, 제1CNN모듈에 의하여 도출된 복수의 영상특징정보는 제1LSTM모듈로 시계열순으로 입력됨이 바람직하다.

한편, 기설정된 시간구간에 대한 음성에 대한 특징정보(피치, 세기 등), 혹은 음성자체의 데이터는 제2CNN모듈으로 입력되고, 제2CNN모듈로부터 도출된 음성특징정보는 제2LSTM모듈로 시계열순으로 입력됨이 바람직하다.

한편, 한편, 공통모델의 아웃풋인 특징정보(벡터열)는 상기 제1특징정보 및 제2특징정보에 기초하여 도출된다. 가장 간단한 방법으로는 상기 제1특징정보 및 제2특징정보를 단순 결합하여, 도출될 수 있고, 혹은 가중치 등을 적용하여 도출될 수도 있다.

도 10은 본 발명의 일 실시예에 따른 부분평가모델의 내부구성을 개략적으로 도시한다.

도 10에 도시된 부분평가모델은 도 8에 도시된 영상평가결과예측모델, 채용평가결과예측모델, 혹은 고과평가결과예측모델에 해당할 수 있다.

각각의 부분평가모델은 공통모델로부터 도출된 특징정보에 대해 복수의 Fully-connected Layer에 의하여 학습된 가중치를 부여하여 중간결과(representative vector)를 도출하는 과정을 수행하여 각각의 평가카테고리에 대한 결과값을 도출한다.

예를들어, 영상평가결과예측모델은 호감도, 집중도, 신뢰감, 활기참, 침착성, 소통능력, 눈마주침, 친절함, 습관의 사용여부, 및 유쾌함 중 1 이상을 포함하는 면접과 관련된 영상평가결과에 대한 예측과 관련된 데이터를 도출할 수 있고, 상기 채용평가결과예측모델은 해당 지원자가 실제 기업에서의 채용 심사를 받는 경우에 판단되는 지원동기, 도전정신, 전문성, 협력성, 회사인재상부합정보 중 1 이상을 포함하는 채용평가결과에 대한 예측과 관련된 데이터를 도출할 수 있고, 고과평가결과예측모델은 해당 지원자가 지원기업에 실제로 채용되고, 이후 고과평가를 받을 때 판단되는 근무성실도, 관리역량, 업무역량, 종합고과등급 중 1 이상을 포함하는 고과평가결과와 관련된 데이터를 도출할 수 있다.

바람직하게는, 본 발명의 일 실시예에서는, 주어진 면접영상에 대하여, 상기 공통모델로부터 도출된 상기 특징정보로부터 종합평가결과를 도출하거나 혹은 상기 영상평가결과예측모델, 상기 채용평가결과예측모델, 및 상기 고과평가결과예측모델 중 1 이상으로부터 종합평가결과를 도출할 수 있는 세부평가모델을 더 포함할 수 있다.

도 11은 본 발명의 일 실시예에 따른 평가결과제공부(1500)의 동작에 의한 사용자단말기에서의 표시화면의 일 예를 도시한다.

상기 평가결과제공부(1500)는 해당 지원자의 지원기업측에 대하여 단말기에서의 입력에 따라서 다양한 평가화면을 제공할 수 있다. 도 11은 해당 면접영상에 대한 평가결과를 제공하는 화면(도 11의 L3의 영상평가결과를 사용자가 입력한 경우)을 도시한다.

상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 디스플레이요소는, 상기 면접영상을 재생할 수 있는 영상레이어(L1); 상기 면접영상에 대한 식별정보, 날짜, 설명정보 등이 표시될 수 있는 영상정보레이어(L2); 2 이상의 평가결과 카테고리를 선택할 수 있는 카테고리레이어(L3); 상기 2 이상의 평가결과 카테고리 중 선택된 평가결과 카테고리에 대한 자동평가결과가 디스플레이되는 자동평가결과레이어(L4)를 포함한다.

즉, 상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 화면은, 면접영상 자체의 평가요소를 중심으로 디스플레이하는 제1화면(도 11), 해당 면접영상의 지원자가 실제 채용시의 결과예측을 중심으로 디스플레이하는 제2화면(도 12), 및 해당 면접영상의 지원자가 실제 업무를 수행시 결과(혹은 고과)예측을 중심으로 디스플레이하는 제3화면(도 13)을 포함한다.

상기 영상레이어(L1)에서는 사용자의 입력에 따라서 면접영상이 플레이될 수 있다.

상기 카테고리레이어(L3)에서는 사용자의 입력에 따라서 평가결과 카테고리가 변경되면서, 제공화면이 전환된다. 카테고리레이어(L3)의 '영상평가'는 해당 면접영상 자체에 대한 평가를 제공하는 화면에 해당한다. 바람직하게는, 상기 공통모델 및 영상평가결과예측모델의 동작에 따른 채용추천, 호감도, 집중도, 신뢰감 등의 소셜스킬에 대한 평가결과를 도시하는 화면이 '영상평가'에 해당한다.

'영상평가'가 선택된 도 11에서는 자동평가결과레이어(L4)에는 상기 영상평가결과와 관련된 평가예측결과가 디스플레이된다(L4.2 및 L4.3). 바람직하게는, 상기 자동평가결과레이어는 상기 영상평가결과에 의하여 학습된 1 이상의 세부평가모델 및 상기 채용평가결과에 의하여 학습된 1 이상의 세부평가모델의 평가값에 기초한 면접영상에 대한 종합적인 평가결과를 나태는 종합평가레이어(L4.1)을 포함할 수 있다.

이와 같은 정보의 제공에 의하여, 채용하고자 하는 기업측에서는 온라인면접을 진행시, 면접영상을 일일이 확인하지 않더라도, 해당 면접영상에서의 소셜스킬에 대한 평가를 직관적으로 제공받을 수 있다.

바람직하게는, 도 11에 도시된 L4.3은 해당 면접영상 자체에 대한 평가요소에 해당한다.

도 12는 본 발명의 일 실시예에 따른 평가결과제공부(1500)의 동작에 의한 사용자단말기에서의 표시화면의 일 예를 도시한다.

도 12는 해당 면접영상으로부터 상기 평가모델이 예측한 해당 지원자의 채용평가시의 결과값, 예를들어 지원동기, 도전정신, 전문성, 협력성, 회사인재상부합정도 중 1 이상에 대한 자동평가결과를 L4.5에서 도시하는 화면이다. 이와 같이 본 발명의 평가모델은 면접영상으로부터 실제 지원자가 오프라인 면접 등을 진행해서 최종적으로 채용평가결과를 받을 때의 예측결과를 제공함으로써, 온라인면접으로는 확인하기 어려운 실제 해당 기업으로의 채용평사시에서의 평가예측을 제공하고, 이에 따라 채용하고자 하는 기업은 온라인면접을 효율적으로 수행할 수 있다.

바람직하게는, 도 12에 도시된 L4.4은 해당 면접영상으로부터 추론한 실제 채용결과에 대한 예측요소에 해당한다.

도 13은 본 발명의 일 실시예에 따른 평가결과제공부(1500)의 동작에 의한 사용자단말기에서의 표시화면의 일 예를 도시한다.

도 13는 해당 면접영상으로부터 상기 평가모델이 예측한 해당 지원자의 실제 채용이 되고 업무평가를 받을 때의 결과값, 예를들어 근무성실도, 관리역량, 업무역량, 종합고과 중 1 이상에 대한 자동평가결과를 L4.6에서 도시하는 화면이다. 이와 같이 본 발명의 평가모델은 면접영상으로부터 실제 지원자가 채용이 되었다고 가정시, 고과평가등 업무역량에 대한 평가를 받을 때의 예측결과를 제공함으로써, 온라인면접으로는 확인하기 어려운 해당 기업에서의 실제 업무시에서의 평가예측을 제공하고, 이에 따라 채용하고자 하는 기업은 온라인면접을 효율적으로 수행할 수 있다.

바람직하게는, 도 13에 도시된 L4.5는 해당 면접영상으로부터 추론한 실제 업무평가에 대한 예측요소에 해당한다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령 어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (11)

1 이상의 프로세서 및 1 이상의 메모리를 갖는 서버 시스템에서 수행되고, 피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 관리하는 방법으로서,
피평가자가 온라인면접시에 수행한 면접영상에 대한 평가자들의 영상평가결과에 의하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 영상평가결과학습단계; 및
해당 피평가자의 면접영상 및 상기 해당 피평가자의 지원기업에서의 실제 채용면접에서의 채용평가결과에 기반하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 상기 평가모델을 학습하는 채용평가결과학습단계;를 포함하고,
상기 평가모델은 1 이상의 인공신경망 모델을 포함하고,
상기 평가모델은 해당 피평가자가 지원기업의 채용평가결과를 받을 때의 예측결과를 제공할 수 있고,
상기 평가모델은 지원기업별로 상기 서버 시스템에 구비되고, 상기 채용평가결과학습단계에서는 해당 지원기업의 평가모델이 해당 지원기업의 채용평가결과 및 해당 피평가자의 면접영상에 의하여 학습되는, 평가모델을 관리하는 방법.

청구항 1에 있어서,
상기 평가모델을 관리하는 방법은,
해당 피평가자의 지원기업에서의 실제 채용 후 업무능력에 대한 고과평가결과에 의하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 고과평가결과학습단계;를 더 포함하는, 평가모델을 관리하는 방법.

삭제

청구항 1에 있어서,
상기 평가모델은,
면접영상에 대하여 공통적인 특징정보를 도출하는 공통평가모델;
상기 공통적인 특징정보에 기초하여, 상기 영상평가결과와 관련된 평가결과를 도출하는 영상평가결과예측모델; 및
상기 공통적인 특징정보에 기초하여, 상기 채용평가결과와 관련된 평가결과를 도출하는 채용평가결과예측모델;를 포함하고,
상기 평가자들의 종합평가결과에 의하여 상기 공통평가모델 및 상기 영상평가결과예측모델이 학습되고,
상기 평가자들의 채용평가결과에 의하여 상기 공통평가모델 및 상기 채용평가결과예측모델이 학습되는, 평가모델을 관리하는 방법.

청구항 1에 있어서,
상기 평가모델은,
면접영상에 대하여 공통적인 특징정보를 도출하는 공통평가모델;
상기 공통적인 특징정보에 기초하여, 상기 영상평가결과와 관련된 평가결과를 도출하는 영상평가결과예측모델;
상기 공통적인 특징정보에 기초하여, 상기 채용평가결과와 관련된 평가결과를 도출하는 채용평가결과예측모델; 및
상기 공통적인 특징정보에 기초하여, 고과평가결과와 관련된 평가결과를 도출하는 고과평가결과예측모델을 포함하고,
상기 평가자들의 종합평가결과에 의하여 상기 공통평가모델 및 상기 영상평가결과예측모델이 학습되고,
상기 평가자들의 채용평가결과에 의하여 상기 공통평가모델 및 상기 채용평가결과예측모델이 학습되고,
상기 평가자들의 고과평가결과에 의하여 상기 공통평가모델 및 상기 고과평가결과예측모델이 학습되는, 평가모델을 관리하는 방법.

청구항 1에 있어서,
상기 평가모델은,
면접영상에 대하여 공통적인 특징정보를 도출하는 공통평가모델;을 포함하고,
상기 공통평가모델은,
상기 면접영상의 복수의 프레임의 이미지정보로부터 복수의 영상특징정보를 도출하는 공간 특징정보를 추출하는 제1딥뉴럴네트워크;
상기 면접영상의 복수의 음성정보로부터 복수의 음성특징정보를 도출하는 공간 특징정보를 추출하는 제1딥뉴럴네트워크;
상기 복수의 영상특징정보를 수신하여 제1특징정보를 도출하는 제1순환신경망 모듈; 및
상기 복수의 음성특징정보를 수신하여 제2특징정보를 도출하는 제2순환신경망모듈;을 포함하는, 평가모델을 관리하는 방법.

청구항 1에 있어서,
상기 평가모델을 관리하는 방법은,
수신된 면접영상에 대해 면접영상에서 지원하고자 하는 기업측에 대하여 상기 평가모델에 기초하여 도출된 자동평가결과를 제공하는 평가결과제공단계를 더 포함하고,
상기 자동평가결과는, 상기 영상평가결과와 관련된 평가예측결과, 및 상기 채용평가결과와 관련된 평가예측결과를 포함하는, 평가모델을 관리하는 방법.

청구항 1에 있어서,
상기 평가모델을 관리하는 방법은,
수신된 면접영상에 대해 면접영상에서 지원하고자 하는 기업측에 대하여 상기 평가모델에 기초하여 도출된 자동평가결과를 제공하는 평가결과제공단계를 더 포함하고,
상기 자동평가결과는, 상기 영상평가결과에 의하여 학습된 1 이상의 세부평가모델 및 상기 채용평가결과에 의하여 학습된 1 이상의 세부평가모델의 평가값에 기초한 면접영상에 대한 종합적인 평가결과를 포함하는, 평가모델을 관리하는 방법.

삭제

피평가자의 면접영상에 대하여 자동적인 평가결과를 제공하는 평가모델을 관리하는 서버 시스템으로서,
피평가자가 온라인면접시에 수행한 면접영상에 대한 평가자들의 영상평가결과에 의하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 평가모델을 학습하는 영상평가결과학습부; 및
해당 피평가자의 면접영상 및 해당 피평가자의 지원기업에서의 실제 채용면접에서의 채용평가결과에 기반하여, 상기 서버 시스템의 면접영상에 대한 자동평가결과를 제공하는 상기 평가모델을 학습하는 채용평가결과학습부;를 포함하고,
상기 평가모델은 기계학습된 1 이상의 세부평가모델을 포함하고,
상기 평가모델은 해당 피평가자가 지원기업의 채용평가결과를 받을 때의 예측결과를 제공할 수 있고,
상기 평가모델은 지원기업별로 상기 서버 시스템에 구비되고, 상기 채용평가결과학습부는 해당 지원기업의 평가모델을 해당 지원기업의 채용평가결과 및 해당 피평가자의 면접영상에 의하여 학습시키는, 평가모델을 관리하는 서버 시스템.

청구항 1에 따르는 평가모델을 관리하는 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.

Images