KR102475524B1 - 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법, 시스템 및 컴퓨터-판독가능 매체 - Google Patents

Abstract

본 발명은 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 피평가자에게 평가하고자 하는 특정 역량에 대한 질문을 제시하여 피평가자가 수행한 답변영상을 수신하여 해당 답변영상에 기초하여 제1출력정보를 도출하고, 해당 특정 역량에 대한 복수의 행동지표 및 제1출력정보에 포함된 1 이상의 도출행동지표에 기초하여 도출행동지표에 포함되지 않는 행동지표에 대한 피평가자의 답변을 이끌어낼 수 있는 심층질문을 도출하여, 해당 피평가자로부터 심층질문에 대한 답변영상을 수신하여 최종적으로 해당 특정 역량에 대한 평가를 수행하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것이다.

Description

기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법, 시스템 및 컴퓨터-판독가능 매체 {Methods, Systems and Computer-Readable Medium for Deriving In-Depth Questions for Automated Evaluation of Interview Videos using Machine Learning Model}

본 발명은 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 피평가자에게 평가하고자 하는 특정 역량에 대한 질문을 제시하여 피평가자가 수행한 답변영상을 수신하여 해당 답변영상에 기초하여 제1출력정보를 도출하고, 해당 특정 역량에 대한 복수의 행동지표 및 제1출력정보에 포함된 1 이상의 도출행동지표에 기초하여 도출행동지표에 포함되지 않는 행동지표에 대한 피평가자의 답변을 이끌어낼 수 있는 심층질문을 도출하여, 해당 피평가자로부터 심층질문에 대한 답변영상을 수신하여 최종적으로 해당 특정 역량에 대한 평가를 수행하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것이다.

최근 기업에는 4차 산업 기술 등으로 인해 복잡한 업무를 처리해야 하는 직무들이 증가하고 있으며, 인건비의 상승, 경영환경의 어려움 등으로 인해 기업에서는 인재를 채용하는데 있어 채용하고자 하는 직무에 가장 적합한 인재를 선발하기 위한 다양한 채용 프로세스들을 강구하고 있다.

이와 같은 채용 프로세스의 일환으로 공기업과 같이 공공기관에서는 국가직무능력표준(National Competency Standards, NCS)을 기반으로 하여 지원자의 능력과 역량을 검증하는 채용 프로세스를 시행하고 있으며, 사기업에서는 지원자가 해당 직무에 적합한 다양한 역량을 보유하였는지 판단하기 위한 평가방법으로 평가센터(Assessment Center), 표본작업평가(Work Sample Test), 능력평가(Ability Test), Modern Personality Test, 전기 자료(Bio-Data), 평판 조회(References Check), 전통적인 방식의 면접(Traditional Interviews) 등의 평가방법을 채용 프로세스에 반영하고 있다.

상기와 같이 역량을 평가하기 위한 종래의 방법들은 해당 평가 방법에 대하여 전문화된 교육을 받았거나, 풍부한 경험을 보유한 평가자에 의해 수행되어야 하며, 평가를 진행하는 기업측에서는 관련 전문가를 양성하거나 혹은 전문가를 고용하기 위해서 많은 비용이 소요되고, 전문가를 통해 평가를 진행하는 경우에도 평가를 위한 세부적인 절차들을 평가자가 직접 수행하기 때문에 평가를 수행하는 데 있어 상당한 시간이 소요되는 문제점이 존재한다.

더불어, 종래의 방법에서는 피평가자의 역량을 평가하기 위하여 평가자는 피평가자의 답변에서 해당 역량에 관련된 내용이 없는 것으로 판단하는 경우에, 피평가자가 해당 내용에 대한 답변을 할 수 있도록 관련 질문을 창출하여 다시금 질문을 제시하는 과정을 수행하며, 이와 같이 질문을 다시 설정하여 제시하고 이에 대한 답변을 분석하는 추가적인 과정에 의해 평가에 더욱더 많은 시간을 필요로 하게 된다.

따라서, 온라인 상에서 기계학습모델을 통해 피평가자가 보유한 역량을 평가할 수 있는 방법을 구현하여 평가에 소요되는 시간 및 비용을 크게 절약함과 동시에 평가 결과의 객관성을 향상시킬 수 있는 평가방법의 개발이 필요한 상황이다.

본 발명은 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 피평가자에게 평가하고자 하는 특정 역량에 대한 질문을 제시하여 피평가자가 수행한 답변영상을 수신하여 해당 답변영상에 기초하여 제1출력정보를 도출하고, 해당 특정 역량에 대한 복수의 행동지표 및 제1출력정보에 포함된 1 이상의 도출행동지표에 기초하여 도출행동지표에 포함되지 않는 행동지표에 대한 피평가자의 답변을 이끌어낼 수 있는 심층질문을 도출하여, 해당 피평가자로부터 심층질문에 대한 답변영상을 수신하여 최종적으로 해당 특정 역량에 대한 평가를 수행하는 방법, 시스템 및 컴퓨터-판독가능 매체를 제공하는 것을 목적으로 한다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 서버시스템에서 수행되는 행동지표에 기반한 피평가자의 자동화된 평가방법으로서, 상기 서버시스템에는 특정 역량에 대하여 복수의 행동지표 및 복수의 질문이 기설정되어 있고, 상기 복수의 행동지표 각각은 상기 복수의 질문 중 1 이상과 연관성을 갖는 것을 특징으로 하고, 상기 자동화된 평가방법은, 상기 특정 역량에 대한 평가를 수행하기 위한 기설정된 질문 중 1 이상을 피평가자에게 제공하는 제1질문제공단계 및 상기 제1질문제공단계에서 제공하는 1 이상의 질문에 대하여 상기 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 상기 피평가자의 상기 특정 역량에 대한 평가정보 및 상기 평가정보와 관련된 도출행동지표를 포함하는 제1출력정보를 도출하는 제1출력정보도출단계를 포함하는 일반질문단계; 상기 일반질문단계가 1회 이상 수행된 후에, 도출된 1 이상의 상기 도출행동지표에 기초하여 1 이상의 심층질문을 설정하는 심층질문설정단계; 및 상기 심층질문에 대하여 상기 피평가자 수행한 답변영상 및 상기 제1출력정보도출단계에서 도출된 제1출력정보에 기초하여 상기 특정 역량에 대한 평가를 수행하는 역량평가단계;를 포함하는, 자동화된 평가방법을 제공한다.

본 발명의 일 실시예에서는, 상기 역량평가단계는, 상기 심층질문설정단계에서 설정된 심층질문 중 1 이상을 상기 피평가자에게 제공하는 제2질문제공단계 및 상기 제2질문제공단계에서 제공된 1 이상의 심층질문에 대하여 상기 피평가자가 수행한 답변영상을 상기 기계학습모델에 입력하여 상기 피평가자의 상기 특정 역량에 대한 평가정보 및 상기 평가정보와 관련된 도출행동지표를 포함하는 제2출력정보를 도출하는 제2출력정보도출단계를 포함하는 심층질문단계; 및 상기 제1출력정보 및 상기 제2출력정보에 기초하여 상기 피평가자의 상기 특정 역량에 대한 종합평가정보를 도출하는 종합평가정보도출단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 심층질문설정단계는, 상기 특정 역량에 대하여 설정된 복수의 행동지표 및 상기 일반질문단계를 통해 도출된 1 이상의 상기 도출행동지표에 기초하여 상기 복수의 행동지표 가운데 상기 도출행동지표로 도출되지 않은 행동지표를 판별하고, 상기 피평가자로 하여금 상기 도출행동지표로 도출되지 않은 행동지표와 관련된 답변을 이끌어내기 위한 1 이상의 심층질문을 설정할 수 있다.

본 발명의 일 실시예에서는, 상기 심층질문설정단계는, 상기 제1출력정보도출단계에서 도출된 제1출력정보를 기계학습 기반의 심층질문추천모델에 입력하여 상기 피평가자로 하여금 상기 도출행동지표로 도출되지 않은 행동지표와 관련된 답변을 이끌어내기 위한 1 이상의 심층질문을 도출할 수 있다.

본 발명의 일 실시예에서는, 상기 제1출력정보도출단계 및 상기 제2출력정보도출단계는, 상기 피평가자가 수행한 답변영상에서 영상정보 및 음성정보를 분리하고, 분리된 영상정보 및 음성정보 각각을 전처리하여 상기 기계학습모델에 입력할 수 있다.

본 발명의 일 실시예에서는, 상기 제1출력정보도출단계 및 상기 제2출력정보도출단계는, 상기 피평가자가 수행한 답변영상에 기초하여 텍스트정보를 도출하는 단계; 상기 도출된 텍스트정보를 벡터로 표현하는 임베딩을 수행하는 단계; 및 상기 임베딩된 벡터를 상기 기계학습모델에 입력하는 단계;를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 제1출력정보도출단계에서 도출하는 제1출력정보 및 상기 제2출력정보도출단계에서 도출하는 제2출력정보는, 상기 평가정보와 관련된 도출행동지표에 대한 발견확률정보 및 상기 발견확률정보에 상응하는 상기 피평가자가 수행한 답변영상의 텍스트정보를 더 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 종합평가정보도출단계에서 도출하는 종합평가정보는, 상기 제1출력정보도출단계 및 상기 제2출력정보도출단계에서 도출된 각각의 도출행동지표에 대한 발견확률정보를 종합하여 산출된 상기 특정 역량에 대한 스코어를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 종합평가정보도출단계에서 도출하는 종합평가정보는, 상기 제1출력정보 및 상기 제2출력정보에 포함된 도출행동지표에 대한 발견확률정보, 텍스트정보, 해당 답변영상에 대한 기초스코어정보 및 상기 기계학습모델에서 상기 제1출력정보 및 상기 제2출력정보를 도출하기 위하여 생성된 특징정보 가운데 1 이상의 정보에 기초하여 도출된 상기 특정 역량에 대한 스코어를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 종합평가정보도출단계에서 도출하는 종합평가정보는, 상기 제1출력정보도출단계 및 상기 제2출력정보도출단계에서 입력하는 각각의 답변영상에 대해 전처리한 결과 정보를 종합하여 산출된 상기 특정 역량에 대한 스코어를 포함할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 행동지표에 기반한 피평가자의 자동화된 평가방법을 수행하는 서버시스템으로서, 상기 서버시스템에는 특정 역량에 대하여 복수의 행동지표 및 복수의 질문이 기설정되어 있고, 상기 복수의 행동지표 각각은 상기 복수의 질문 중 1 이상과 연관성을 갖는 것을 특징으로 하고, 상기 특정 역량에 대한 평가를 수행하기 위한 기설정된 질문 중 1 이상을 피평가자에게 제공하는 제1질문제공부 및 상기 제1질문제공단계에서 제공하는 1 이상의 질문에 대하여 상기 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 상기 피평가자의 상기 특정 역량에 대한 평가정보 및 상기 평가정보와 관련된 도출행동지표를 포함하는 제1출력정보를 도출하는 제1출력정보도출부를 포함하는 일반질문부; 상기 일반질문부가 1회 이상 동작된 후에, 도출된 1 이상의 상기 도출행동지표에 기초하여 1 이상의 심층질문을 설정하는 심층질문설정부; 및 상기 심층질문에 대하여 상기 피평가자 수행한 답변영상 및 상기 제1출력정보도출부에서 도출된 제1출력정보에 기초하여 상기 특정 역량에 대한 평가를 수행하는 역량평가부;를 포함하는, 서버시스템을 제공한다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅장치에서 수행되는 행동지표에 기반한 피평가자의 자동화된 평가방법을 구현하기 위한, 컴퓨터-판독가능 매체로서, 상기 서버시스템에는 특정 역량에 대하여 복수의 행동지표 및 복수의 질문이 기설정되어 있고, 상기 복수의 행동지표 각각은 상기 복수의 질문 중 1 이상과 연관성을 갖는 것을 특징으로 하고, 상기 자동화된 평가방법은, 상기 특정 역량에 대한 평가를 수행하기 위한 기설정된 질문 중 1 이상을 피평가자에게 제공하는 제1질문제공단계 및 상기 제1질문제공단계에서 제공하는 1 이상의 질문에 대하여 상기 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 상기 피평가자의 상기 특정 역량에 대한 평가정보 및 상기 평가정보와 관련된 도출행동지표를 포함하는 제1출력정보를 도출하는 제1출력정보도출단계를 포함하는 일반질문단계; 상기 일반질문단계가 1회 이상 수행된 후에, 도출된 1 이상의 상기 도출행동지표에 기초하여 1 이상의 심층질문을 설정하는 심층질문설정단계; 및 상기 심층질문에 대하여 상기 피평가자 수행한 답변영상 및 상기 제1출력정보도출단계에서 도출된 제1출력정보에 기초하여 상기 특정 역량에 대한 평가를 수행하는 역량평가단계;를 포함하는, 컴퓨터-판독가능 매체를 제공한다.

본 발명의 일 실시예에 따르면, 특정 역량에 대한 평가를 수행하기 위한 기계학습모델을 통해 피평가자의 답변영상에 기초하여 평가결과를 도출하므로, 평가에 소요되는 시간 및 비용을 절감함과 동시에 객관적인 평가결과를 도출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 평가인터페이스제공단계에서 평가자에게 제공되는 평가인터페이스는 스크립트레이어를 포함하고, 스크립트레이어에는 피평가자의 답변영상에 따른 스크립트가 표시되어, 평가자가 피평가자의 답변을 용이하게 인지할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 스크립트레이어는 평가자가 스크립트의 특정 영역을 선택하는 경우, 해당 질문 혹은 특정 역량에 대한 행동지표리스트영역이 표시되므로, 피평가자가 선택한 특정 영역에 대해 상응하는 행동지표를 평가자가 용이하게 선택할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 평가인터페이스는 평가자가 스크립트레이어에서 선택한 스크립트의 특정 영역 및 행동지표리스트영역에서 선택한 행동지표리스트영역의 특정 행동지표리스트가 표시되는 행동지표레이어를 포함하므로, 평가자가 각 행동지표 별 피평가자의 답변을 용이하게 파악할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 평가인터페이스는 평가자로 하여금 피평가자의 답변영상에 따른 심층질문을 입력받는 심층질문레이어 및 피평가자의 답변영상에 대한 특이사항을 입력받는 특이사항레이어를 포함하므로, 평가자가 해당 평가방법에 대한 교육을 받는 경우, 해당 평가방법에 대한 전문가가 작성한 심층질문 및 특이사항을 비교해볼 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 피평가자의 답변영상에서 영상정보 및 음성정보를 분리하여, 각각의 영상정보 및 음성정보를 기계학습모델에 입력하여 평가결과를 도출하므로, 피평가자의 답변영상에서의 맥락 및 답변 의도를 세부적으로 파악하여 정확한 평가결과를 도출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 기계학습모델을 통해 역량정보도출단계에서 도출하는 제2피평가자역량정보는 행동지표 각각에 대한 발견확률정보를 포함하므로, 평가결과를 객관적으로 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 기계학습모델을 통해 역량정보도출단계에서 도출하는 제2피평가자역량정보는 행동지표 각각에 대한 발견확률정보에 상응하는 피평가자의 답변영상에서의 텍스트정보를 더 포함하므로, 행동지표에 상응하는 피평가자의 답변을 구체적으로 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 제1출력정보도출단계에서 도출한 제1출력정보에 포함된 도출행동지표 및 특정 역량에 대한 복수의 행동지표에 기초하여 심층질문을 설정하므로, 평가자 없이도 관찰되지 않은 행동지표에 대한 답변을 이끌어낼 수 있는 심층질문을 피평가자에게 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 역량평가단계에서 제1출력정보 및 심층질문에 대한 피평가자가 수행한 답변영상을 추가적으로 분석하여 도출된 제2출력정보에 기초하여 종합평가정보를 도출하므로, 더욱 정확한 평가결과를 도출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 종합평가정보도출단계에서 도출하는 종합평가정보에는 제1출력정보 및 제2출력정보에서의 발견확률정보를 종합하여 산출된 특정 역량에 대한 스코어를 포함하므로 직관적으로 피평가자의 평가결과를 인지할 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법을 수행하기 위한 전체적인 시스템의 형태를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 서버시스템의 내부 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 평가하고자 하는 특정 역량에 따라 설정된 행동지표 및 이에 따라 피평가자에게 제공되는 질문의 구성을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 서버시스템에서 수행하는 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 피평가자가 질문에 따른 답변을 수행하는 화면을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 평가인터페이스의 구성을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 스크립트레이어에서 평가자의 선택에 따라 행동지표레이어가 표시되는 구성을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 다른 형태의 평가인터페이스의 구성을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 모델학습단계에 따라 기계학습모델이 학습되는 과정을 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 역량정보도출부의 세부 구성을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 서버시스템에서 수행하는 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법을 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 심층질문설정단계의 세부 단계들을 개략적으로 도시한다.
도 13은 본 발명의 일 실시예에 따른 역량정보도출부에서 기계학습모델에 의해 출력정보를 도출하는 과정을 개략적으로 도시한다.
도 14는 본 발명의 일 실시예에 따른 심층질문설정단계에서 심층질문추천모델에 의해 심층질문을 도출하는 과정을 개략적으로 도시한다.
도 15는 본 발명의 일 실시예에 따른 피평가자가 수행한 답변영상을 기계학습모델에 입력하여, 기계학습모델에서 출력정보를 도출하는 구성을 개략적으로 도시한다.
도 16은 본 발명의 일 실시예에 따른 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 도출된 출력정보에 따라 심층질문을 설정하고, 이에 따라 종합평가정보를 도출하는 구성을 개략적으로 도시한다.
도 17은 본 발명의 일 실시예에 따른 피평가자가 수행한 답변영상을 입력받은 기계학습모델에서 도출된 특징정보를 더 포함하여 종합평가정보를 도출하는 구성을 개략적으로 도시한다.
도 18은 본 발명의 일 실시예에 따른 피처추출모델의 내부 구성을 개략적으로 도시한다.
도 19는 본 발명의 일 실시예에 따른 피처추론모델의 내부 구성을 개략적으로 도시한다.
도 20은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

이하에서 언급되는 '평가자단말기', '제1피평가자단말기', '제2피평가자단말기' 및 '평가교육담당자단말기'는 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드 (Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network;LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

1. 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법

서버시스템에서 수행하는 자동화된 평가를 위한 심층질문을 도출하는 방법은, 서버시스템에서 수행하는 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법에서 답변영상을 기계학습모델에 입력하여 평가결과를 도출하기 위한 구체적인 방법에 해당할 수 있다.

따라서, 본 발명에 해당하는 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법에 대해 설명하기에 앞서, 평가자에 의해 평가된 정보들을 기반으로 기계학습모델을 학습시키고, 학습된 기계학습모델을 통해 면접영상에 대한 평가결과를 도출하는 전체적인 방법에 대하여 우선적으로 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법을 수행하기 위한 전체적인 시스템의 형태를 개략적으로 도시한다.

도 1에 도시된 바와 같이 면접영상에 대한 자동화된 평가를 제공하는 방법은 서버시스템(1000)에서 수행하고, 상기 서버시스템(1000)은 상기 방법을 수행하기 위하여 외부 단말기에 해당하는 평가자단말기(2000), 제1피평가자단말기(3000), 제2피평가자단말기(4000) 및 평가교육담당자단말기(5000)와 통신을 수행할 수 있다. 상기 서버시스템(1000)은 1 이상의 서버를 포함하고, 각각의 서버는 통신을 수행하여 면접영상에 대한 자동화된 평가를 제공하는 방법을 수행할 수 있다.

평가자단말기(2000)는 피평가자의 답변영상을 토대로 평가를 수행하는 주체에 해당하는 평가자가 사용하는 단말기에 해당한다. 상기 평가자는 서버시스템(1000)으로부터 상기 평가자단말기(2000)를 통해 답변영상을 제공받아 평가를 수행한다. 평가자가 평가한 정보에 해당하는 제1피평가자역량정보는 후술하는 기계학습모델의 학습데이터로 사용될 수 있다. 또한, 상기 평가자는 본 발명의 평가방법을 교육받기 위하여 모의로 피평가자의 면접영상을 토대로 평가를 수행하는 주체에 해당할 수 있고, 이와 같은 경우 제1피평가자역량정보는 상기 평가교육담당자단말기(5000)를 사용하는 주체인 평가교육담당자에 의해 해당 평가방법을 교육하기 위한 정보로 사용될 수 있다.

제1피평가자단말기(3000)는 상기 서버시스템(1000)을 통해 제공받은 질문에 따라 답변을 수행하는 주체인 제1피평가자가 사용하는 단말기에 해당한다. 구체적으로 제1피평가자는 서버시스템(1000)으로부터 1 이상의 질문을 제공받아 각각의 제시된 질문에 따라 상기 제1피평가자단말기(3000) 상에서 답변을 수행하고, 제1피평가자가 수행한 답변영상은 상기 서버시스템(1000)으로 송신될 수 있다. 한편, 상기 서버시스템(1000)으로 송신된 제1피평가자가 수행한 답변영상은 상술한 바와 같이 평가자가 평가자단말기(2000)를 통해 제공받아 평가를 수행함으로써 제1피평가자역량정보가 도출될 수 있다.

제2피평가자단말기(4000)는 상기 서버시스템(1000)을 통해 제공받은 질문에 따라 답변을 수행하는 주체인 제2피평가자가 사용하는 단말기에 해당한다. 구체적으로 제2피평가자는 서버시스템(1000)으로부터 1 이상의 질문을 제공받아 각각의 제시된 질문에 따라 상기 제2피평가자단말기(4000) 상에서 답변을 수행하고, 제2피평가자가 수행한 답변영상은 상기 서버시스템(1000)으로 송신될 수 있다. 한편, 상기 서버시스템(1000)으로 송신된 제2피평가자가 수행한 답변영상은 기계학습모델에 입력되어 상기 서버시스템(1000)에서 답변영상에 대한 자동화된 평가결과에 해당하는 제2피평가자역량정보를 도출한다.

한편, 도 1에 도시된 상기 서버시스템(1000)과 통신하는 피평가자단말기의 개수는 설명을 용이하게 하기 위하여 도시된 것에 불과하고, 상기 서버시스템(1000)은 1 이상의 피평가자단말기와 통신을 수행할 수 있다. 또한 상기 제1피평가자단말기(3000)에서 제1피평가자가 수행한 답변영상은 평가자단말기(2000)를 통해 평가자가 평가를 수행하기 위한 것으로만 한정되지 않고, 상술한 바와 같이 서버시스템(1000)의 기계학습모델에 상기 제1피평가자가 수행한 답변영상이 입력되어 제2피평가자역량정보가 도출될 수도 있다.

마찬가지로, 상기 제2피평가자단말기(4000)에서 제2피평가자가 수행한 답변영상은 서버시스템(1000)을 통해 제2피평가자역량정보를 도출하기 위한 것으로만 한정되는 것이 아니라, 상기 제2피평가자가 수행한 답변영상은 상기 평가자에게 제공되어 평가자가 평가를 수행하기 위한 용도로 사용될 수도 있다. 이와 같이, 제1피평가자 및 제2피평가자는 설명을 용이하게 하기 위한 것이며, 제1 및 제2의 기재는 구성의 차이를 의미하지는 않는다.

한편, 평가교육담당자단말기(5000)는 답변영상을 기반으로 평가하는 방식에 대해 전문성을 갖춘 주체에 해당하는 평가교육담당자가 사용하는 단말기로써, 평가교육담당자는 동일하게 피평가자가 수행한 답변영상에 대해 상기 평가교육담당자단말기(5000)를 통해 평가를 수행하여 평가결과를 서버시스템(1000)으로 송신하고, 해당 평가결과는 본 발명의 평가방법을 교육받는 주체에게 제공되어 해당 주체로 하여금 자신이 모의로 평가한 결과와 평가교육담당자가 평가한 결과를 비교할 수 있도록 한다.

본 발명의 다른 실시예에서는 평가자, 피평가자 및 평가교육담당자 별로 상응하는 계정타입들이 서버시스템(1000) 상에 존재하고, 특정 단말기에서 평가자, 피평가자 및 평가교육담당자 각각에 상응하는 계정타입을 사용하여 상기 서버시스템(1000)과 통신을 수행할 수 있고, 상기 특정단말기는 각각의 계정타입에 상응하는 정보들을 수신하여 각각의 주체에게 제공할 수도 있다.

도 2는 본 발명의 일 실시예에 따른 서버시스템(1000)의 내부 구성을 개략적으로 도시한다.

도 2에 도시된 바와 같이 서버시스템(1000)은 평가인터페이스제공부(1100), 역량정보수신부(1200), 모델학습부(1300), 질문제공부(1400), 역량정보도출부(1500) 및 DB(1600)를 포함할 수 있다.

상기 평가인터페이스제공부(1100)는 평가자에게 평가자단말기를 통해 피평가자가 수행한 답변영상을 제공하고, 평가자로 하여금 제1피평가자역량정보를 입력받는 평가인터페이스를 제공한다. 따라서 평가자는 평가자단말기(2000)에 표시되는 평가인터페이스를 통해 피평가자가 수행한 답변영상을 시청함과 동시에 자신이 평가한 내용들을 확인할 수 있다.

상기 역량정보수신부(1200)는 상기 평가자가 평가인터페이스를 통해 입력한 제1피평가자역량정보를 상기 평가자단말기(2000)로부터 수신한다.

상기 모델학습부(1300)는 기계학습모델을 학습시키는 역할을 수행하고, 이를 위해 상기 역량정보수신부(1200)에서 수신한 제1피평가자역량정보를 학습데이터로 사용할 수 있다. 더 구체적으로 상기 모델학습부(1300)는 상기 제1피평가자역량정보를 기계학습모델의 학습에 적합한 형태로 가공하여, 상기 기계학습모델을 학습시킬 수 있다.

상기 질문제공부(1400)는 서버시스템(1000)에서 특정 역량에 대한 답변영상에 대한 평가를 수행하기 위하여 기설정된 1 이상의 질문을 피평가자에게 제공한다. 더 구체적으로 상기 질문제공부(1400)는 피평가자가 선택한 역량, 피평가자가 지원한 기업 혹은 기업의 직무에 해당하는 역량에 관련된 1 이상의 질문들을 해당 피평가자에게 제공할 수 있다.

상기 역량정보도출부(1500)는 질문제공부(1400)를 통해 제공받은 질문에 대해 제2피평가자가 수행한 답변영상에 기초하여 제2피평가자역량정보를 도출한다. 구체적으로 상기 역량정보도출부(1500)는 기계학습모델에 상기 제2피평가자가 수행한 답변영상을 입력하여 상기 제2피평가자역량정보를 도출할 수 있다. 또한, 상기 역량정보도출부(1500)는 평가하고자 하는 특정 역량에 대한 특정 행동지표가 관찰되지 않는 경우, 해당 특정 행동지표와 관련된 심층질문을 설정하여, 해당 심층질문에 대한 제2피평가자가 수행한 답변영상을 더 고려하여 상기 제2피평가자역량정보에 해당하는 종합평가정보를 도출할 수도 있으며, 이에 대해서는 도 10에서 더욱 상세하게 설명하도록 한다.

한편, 상기 DB(1600)에는 각각의 역량에 관련된 질문컨텐츠(1610), 각각의 역량에 관련된 행동지표(1620), 제1피평가자역량정보(1630), 제2피평가자역량정보(1640), 평가자의 아이디, 비밀번호, 이름, 평가수행내역 등의 평가자 별 개인정보에 해당하는 평가자정보(1650), 피평가자의 아이디, 비밀번호, 답변수행내역 등의 피평가자 별 개인정보에 해당하는 피평가자정보(1660), 각각의 피평가자가 수행한 답변영상(1670) 및 기계학습모델(1680)이 저장될 수 있다. 또한 도 2에서는 도시하지 않았으나, 상기 DB(1600)에는 역량정보도출부(1500)에서 심층질문을 설정하기 위한 기계학습 기반의 심층질문추천모델이 추가적으로 저장될 수도 있다.

상기 기계학습모델은 답변영상을 기반으로 평가를 하기 위한 기계학습된 모델로써, 바람직하게는 기계학습모델은 평가하고자 하는 각각의 역량 별로 개별적으로 구비되어, 상기 서버시스템(1000)에는 복수의 기계학습모델을 포함할 수도 있다.

본 발명의 다른 실시예에서는, 상기 서버시스템(1000)은 2 이상의 서버를 포함할 수 있고, 각각의 서버에는 상술한 구성들 가운데 일부를 포함하고, 각각의 서버가 통신을 수행하여 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법을 수행할 수도 있다. 예를 들어, 피평가자 혹은 평가자에게 제공되는 기능들은 특정 서버에 포함되고, 기계학습모델 및 기계학습모델을 학습하는 기능들은 또 다른 특정서버에 포함되어, 상기 특정 서버 및 상기 또 다른 특정서버간의 통신을 통해 본 발명의 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법이 수행될 수 있다.

도 3은 본 발명의 일 실시예에 따른 평가하고자 하는 특정 역량에 따라 설정된 행동지표 및 이에 따라 피평가자에게 제공되는 질문의 구성을 개략적으로 도시한다.

도 3에 도시된 바와 같이, 본 발명에서는 피평가자의 역량을 평가하기 위하여 평가하고자 하는 각각의 역량 별로 1 이상의 행동지표 및 1 이상의 질문들이 설정될 수 있다.

행동지표는 역량을 평가하기 위한 평가기준으로써, 평가자는 피평가자의 답변에서 행동지표가 관찰되는 답변들을 체크함으로써 피평가자가 해당 역량을 어느 정도 갖추고 있는지를 평가할 수 있다.

질문은 피평가자의 답변에서 1 이상의 행동지표가 관찰될 수 있도록 설계된다. 예를 들어, '팀원들 간의 갈등은 어떻게 해결했습니까?'의 질문에 대한 피평가자의 답변에서 '팀의 목표를 위해 팀원들의 협업을 유도한다.'의 행동지표가 관찰될 수 있다. 이를 위해 각각의 질문은 상황(Situation), 과제(Task), 행동(Action) 및 결과(Result) 중 1 이상에 대한 답변을 유도할 수 있는 형태로 설계될 수 있다.

한편, 이와 같이 역량 별로 설계된 질문들은 상기 질문제공부(1400)를 통해 제1피평가자단말기(3000) 혹은 제2피평가자단말기(4000)를 통해 각각 제1피평가자 혹은 제2피평가자에게 제공될 수 있다. 또한, 기업별로 요구되는 역량이 상이할 수 있고, 동일한 기업이라도 직무에 따라 요구되는 역량이 상이할 수 있으므로, 상기 질문제공부(1400)는 피평가자가 지원한 기업, 모의 면접을 수행하고자 하는 기업 혹은 지원한 기업 또는 모의면접을 수행하고자 하는 기업의 직무에 따라 적합한 질문들을 해당 피평가자에게 제공할 수 있다.

도 4는 본 발명의 일 실시예에 따른 서버시스템(1000)에서 수행하는 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법을 개략적으로 도시한다.

도 4에 도시된 바와 같이, 서버시스템(1000)에서 수행되는 피평가자의 답변영상에 대한 자동화된 평가방법으로서, 특정 역량에 대한 평가를 수행하기 위하여 기설정된 1 이상의 질문에 대하여 제1피평가자가 수행한 답변영상을 포함하는 평가인터페이스를 평가자에게 제공하는 평가인터페이스제공단계(S10); 상기 평가자로부터 상기 평가인터페이스 상에서 상기 특정 역량에 대한 평가정보 및 상기 평가정보에 상응하는 행동지표를 포함하는 제1피평가자역량정보를 수신하는 역량정보수신단계(S11); 상기 제1피평가자역량정보에 기초하여 상기 특정 역량에 대한 기계학습모델을 학습시키는 모델학습단계(S12); 상기 특정 역량에 대한 평가를 수행하기 위하여 기설정된 1 이상의 질문을 제2피평가자에게 제공하는 질문제공단계(S13); 및 상기 질문제공단계(S13)를 통해 제공된 1 이상의 질문에 대하여 상기 제2피평가자가 수행한 답변영상을 상기 기계학습모델에 입력하여 상기 특정 역량에 대한 평가정보를 포함하는 제2피평가자역량정보를 도출하는 역량정보도출단계(S14);를 포함할 수 있다.

구체적으로, 답변영상에 대한 자동화된 평가를 제공하는 방법을 수행하기 위하여 서버시스템(1000)은 제1피평가자가 수행한 답변영상을 포함하는 평가인터페이스를 평가자에게 제공하는 평가인터페이스제공단계(S10)를 수행한다. 이를 위해 상기 제1피평가자는 제1피평가자단말기(3000)를 통해 서버시스템(1000)에 평가를 요청할 수 있고, 상기 서버시스템(1000)의 질문제공부(1400)는 해당 요청에 상응하는 1 이상의 질문을 상기 제1피평가자단말기(3000)에 제공하여 제1피평가자는 답변영상을 생성할 수 있다. 이와 같이 생성된 제1피평가자가 수행한 답변영상은 서버시스템(1000)으로 송신되어 DB(1600)에 저장될 수 있다.

이후 평가자가 평가자단말기(2000)를 통해 답변영상을 요청하는 경우, 서버시스템(1000)은 상기 평가인터페이스제공단계(S10)를 수행할 수 있다. 상기 평가인터페이스제공단계(S10)에서는 평가자의 요청에 상응하는 제1피평가자가 수행한 답변영상을 포함하는 평가인터페이스가 상기 평가자단말기(2000)에 디스플레이되도록 한다.

한편, 평가자는 상기 평가자단말기(2000)에 디스플레이된 평가인터페이스를 통해 제1피평가자가 수행한 답변영상에 관련된 특정 역량에 대한 평가정보 및 각각의 평가정보에 상응하는 행동지표를 포함하는 제1피평가자역량정보를 입력하고, 상기 평가자단말기(2000)는 상기 입력된 제1피평가자역량정보를 상기 서버시스템(1000)으로 송신하고, 상기 서버시스템(1000)의 역량정보수신부(1200)는 역량정보수신단계(S11)를 수행하여 상기 제1피평가자역량정보를 수신한다.

더 구체적으로, 상기 제1피평가자역량정보에 포함되는 평가정보는 상기 제1피평가자의 답변 가운데 해당 행동지표를 관찰할 수 있는 정보에 해당할 수 있다.

상기 모델학습단계(S12)는 역량정보수신단계(S11)를 통해 수신한 복수의 제1피평가자역량정보에 기초하여 특정 역량에 대한 기계학습모델을 학습시킬 수 있다. 상기 서버시스템(1000)에는 각각의 역량 별로 평가를 수행하는 1 이상의 기계학습모델을 포함하므로, 상기 모델학습단계(S12)에서 특정 역량의 기계학습모델을 학습시키는 경우, 해당 특정 역량에 대한 제1피평가자역량정보들을 학습데이터로 사용하거나 혹은 상기 모델학습단계(S12)는 특정 역량에 대한 제1피평가자역량정보 및 특정 역량이 아닌 타 역량에 대한 제1피평가자역량정보들이 구분되도록 별도의 라벨링을 수행하고, 라벨링된 제1피평가자역량정보들을 학습데이터로 사용할 수 있다.

또한, 상기 기계학습모델은 학습데이터로 사용하는 각각의 제1피평가자역량정보에 상응하는 답변영상들을 학습데이터로 사용할 수도 있다.

한편, 제2피평가자가 상기 제2피평가자단말기(4000)를 통해 평가를 요청하는 경우, 상기 서버시스템(1000)은 해당 요청에 상응하는 기설정된 1 이상의 질문을 상기 제2피평가자에게 제공하는 질문제공단계(S13)를 수행한다. 상술한 제1피평가자가 상기 서버시스템(1000)에 평가를 요청하는 것과 제2피평가자가 상기 서버시스템(1000)에 평가를 요청하는 것과 같이 피평가자가 서버시스템(1000)에 평가를 요청하는 것은 평가자로부터 직접 평가를 받기 위한 요청 및 서버시스템(1000)의 기계학습모델을 통해 평가를 받기 위한 요청으로 구분되는 요청에 해당하거나, 혹은 평가자로부터의 평가 및 기계학습모델을 통한 평가 모두를 요청하는 것에 해당할 수도 있다. 또한 상기 제1피평가자 혹은 상기 제2피평가자의 요청에는 자신이 평가 받고자 하는 특정 기업, 특정 기업의 직무 혹은 특정 역량을 요청하는 정보가 포함될 수 있다.

이어서, 상기 질문제공단계(S13)를 통해 평가를 요청한 상기 제2피평가자는 1 이상의 질문을 제공받고 상기 제2피평가자단말기(4000)를 통해 답변영상을 생성한다. 상기 제2피평가자단말기(4000)는 생성된 제2피평가자가 수행한 답변영상을 상기 서버시스템(1000)으로 송신하고, 상기 서버시스템(1000)은 수신한 제2피평가자가 수행한 답변영상을 기계학습모델에 입력하여 제2피평가자역량정보를 도출하는 역량정보도출단계(S14)를 수행한다.

상기 역량정보도출단계(S14)를 통해 도출되는 제2피평가자역량정보는 상기 서버시스템(1000)에서 자체적으로 해당 제2피평가자가 수행한 답변영상에 기초하여 도출된 역량정보로써, 상술한 평가자가 평가한 제1피평가자역량정보와 유사한 형태의 정보를 도출하거나 혹은 해당 제2피평가자가 수행한 답변영상에서 평가하고자 하는 특정 역량에 대한 1 이상의 행동지표의 발견확률에 대한 정보를 포함하는 것과 같이 상기 제1피평가자역량정보와는 상이한 형태로 도출될 수도 있다.

한편, 상기 역량정보도출단계(S14)는 제2피평가자가 수행한 답변영상에 대하여 제1출력정보를 도출하고, 제1출력정보에 포함된 1 이상의 도출행동지표 및 평가하고자 하는 특정 역량에 대한 복수의 행동지표에 기초하여 상기 1 이상의 도출행동지표에 포함되지 않는 1 이상의 행동지표와 관련된 심층질문을 설정하고, 해당 심층질문을 상기 제2피평가자에게 제공하여 도출행동지표에 포함되지 않는 1 이상의 행동지표에 대한 답변영상에 대한 제2출력정보를 도출하여, 최종적으로 제2피평가자역량정보에 해당하는 종합평가정보를 도출할 수 있으며, 이에 대해서는 도 11에서 더욱 상세하게 설명하도록 한다.

한편, 상기 자동화된 평가방법은, 상기 역량정보도출단계(S14)에서 도출된 복수의 제2피평가자역량정보를 종합기계학습모델에 입력하여 상기 제2피평가자의 특정 역량의 보유 정도에 대한 스코어정보를 포함하는 종합피평가자역량정보를 도출하는 종합역량정보도출단계(S15);를 더 포함할 수 있다.

상술한 바와 같이, 역량정보도출단계(S14)에서 제2피평가자가 수행한 답변영상을 기계학습모델에 입력하여 제2피평가자역량정보를 도출하는 것으로 해당 제2피평가자의 특정 역량의 보유 정도에 대한 평가가 이루어질 수 있으나, 본 발명의 다른 실시예에서는, 역량정보도출단계(S14)에서는 특정 역량에 대한 복수의 질문 각각에 대하여 제2피평가자가 수행한 답변영상 각각에 대한 제2피평가자역량정보를 도출한다.

한편, 상기 종합역량정보도출단계(S15)에서는 역량정보도출단계(S14)에서 도출한 복수의 제2피평가자역량정보에 기초하여 종합피평가자역량정보를 도출한다. 구체적으로, 상기 종합역량정보도출단계(S15)는 서버시스템(1000)에 포함된 종합기계학습모델에 상기 복수의 제2피평가자역량정보를 입력하여 상기 종합피평가자역량정보를 도출할 수 있다.

상기 종합피평가자역량정보는 제2피평가자에게 제공된 복수의 질문 각각에 대한 답변영상 각각에 대해 도출된 복수의 제2피평가자역량정보를 종합하여, 해당 제2피평가자가 평가하고자 하는 특정 역량의 보유 정도를 종합적으로 평가한 정보에 해당하며, 평가자가 상기 평가인터페이스 상에서 입력하는 평가점수와 유사하게 상기 종합피평가자역량정보는 특정 역량의 보유 정도에 대한 스코어정보를 포함하므로, 상기 종합피평가자역량정보를 통해 해당 제2피평가자의 특정 역량의 보유 정도를 정량적으로 인지할 수 있는 효과를 발휘할 수 있다.

한편, 상기 종합기계학습모델은 상술한 기계학습모델과 구분되는 별도의 기계학습 기반의 모델에 해당하거나 혹은 상기 종합기계학습모델 및 상기 기계학습모델은 전체의 기계학습모델 내에 포함되어, 상기 기계학습모델에서 도출된 제2피평가자역량정보가 상기 종합기계학습모델에 입력되어 종합피평가자역량정보가 도출될 수도 있다.

도 5는 본 발명의 일 실시예에 따른 피평가자가 질문에 따른 답변을 수행하는 화면을 개략적으로 도시한다.

도 5에 도시된 바와 같이, 상기 제1피평가자단말기(3000) 혹은 상기 제2피평가자단말기(4000)는 서버시스템(1000)에서 수행하는 질문제공단계(S13)를 통해 1 이상의 질문을 제공받아 답변영상을 생성할 수 있다. 상기 질문제공단계(S13)는 제1피평가자 혹은 제2피평가자의 요청에 상응하는 1 이상의 기설정된 질문을 상기 제1피평가자단말기(3000) 혹은 상기 제2피평가자단말기(4000)에 제공한다. 예를 들어, 특정 기업의 직무와 관련된 평가를 요청하는 경우, 상기 질문제공단계(S13)는 상기 특정 기업의 직무와 연관된 1 이상의 역량과 관련된 질문들을 제공할 수 있다.

한편, 질문을 제공받은 상기 제1피평가자단말기(3000) 혹은 상기 제2피평가자단말기(4000)에서는 단말기에 구비된 촬영모듈을 통해 해당 질문에 대한 피평가자의 답변영상을 촬영한다. 도 5에서는 제1피평가자단말기(3000) 혹은 제2피평가자단말기(4000)의 화면에는 질문제공단계(S13)에서 제공한 질문, 해당 질문에 대한 답변제한시간 및 답변진행시간이 하단에 표시되고, 상단에는 실시간으로 피평가자의 답변영상이 표시되는 구성을 도시하고 있다. 다만, 본 발명에서는 이에 한정되지 않고, 상기 질문이 우선 표시되고 이후에 화면이 전환되어 피평가자의 실시간 답변영상만 표시되거나, 혹은 상기 질문이 텍스트 형태뿐만 아니라 사운드 형태로 제공되는 등 상기 제1피평가자단말기(3000) 혹은 상기 제2피평가자단말기(4000)에서는 다양한 표시 방법으로 화면이 구성될 수도 있다.

이와 같이, 상기 제1피평가자단말기(3000) 및 상기 제2피평가자단말기(4000)에서는 질문제공단계(S13)를 통해 제공받은 1 이상의 질문에 대한 해당 피평가자가 수행한 답변영상을 생성하고, 생성된 답변영상을 상기 서버시스템(1000)으로 송신함으로써 해당 답변영상에 대한 평가가 수행될 수 있다.

도 6은 본 발명의 일 실시예에 따른 평가인터페이스의 구성을 개략적으로 도시한다.

서버시스템(1000)에서 수행하는 평가인터페이스제공단계(S10)를 통해 상기 평가자단말기(2000)에서는 평가인터페이스가 디스플레이될 수 있다. 상기 평가인터페이스는 제1피평가자가 수행한 답변영상에 기초하여 평가자가 평가를 수행하기 위한 요소들이 표시되고, 평가자의 입력에 따라 해당 답변영상에 대한 평가가 이루어질 수 있다.

구체적으로, 상기 평가인터페이스는 상기 제1피평가자가 수행한 답변영상이 표시되는 답변영상레이어(L1)를 포함한다. 상기 답변영상레이어(L1) 상에서의 평가자의 재생입력에 따라 해당 답변영상이 재생되어, 평가자가 해당 답변영상의 내용들을 확인할 수 있다. 한편, 상기 답변영상레이어(L1)의 하단에는 해당 답변영상에 관한 질문, 더 구체적으로는 상기 질문제공단계(S13)에서 해당 답변영상을 생성하기 위하여 제공한 질문이 텍스트 형태로 표시되어 평가자가 해당 답변영상이 어떤 질문에 의해 생성된 것인지를 더욱 명확하게 인지할 수 있다.

한편, 상기 평가인터페이스제공단계(S10)에서 상기 평가자에게 제공되는 평가인터페이스는, 상기 제1피평가자 수행한 답변영상에 기초하여 생성된 스크립트가 표시되는 스크립트레이어(L2);를 포함하고, 상기 스크립트레이어(L2)는, 상기 평가자가 상기 스크립트의 특정 영역을 선택하는 경우, 해당 질문 혹은 상기 특정 역량에 상응하는 1 이상의 행동지표를 포함하는 행동지표리스트영역(A1)이 표시될 수 있다.

구체적으로, 상기 스크립트레이어(L2)는 답변영상레이어(L1)에 표시되는 답변영상의 내용이 텍스트 형태로 변환된 스크립트를 표시한다. 상기 서버시스템(1000)은 답변영상의 음성정보를 텍스트정보로 변환하는 Speech to Text(STT)모듈을 포함하여, 상기 STT모듈을 통해 상기 답변영상에 대한 스크립트를 도출할 수 있다. 본 발명의 다른 실시예에서는 상기 서버시스템(1000)은 영상음성분리모듈을 더 포함하여 상기 영상음성분리모듈을 통해 상기 답변영상의 영상정보와 음성정보를 분리하고, 분리된 음성정보를 상기 STT모듈에 입력하여 스크립트를 도출할 수도 있다. 따라서 평가자는 답변영상레이어(L1)에서 재생되는 답변영상에서 명확하게 인지되지 않는 음성을 상기 스크립트레이어(L2)를 통해 텍스트 형태로 명확하게 파악할 수 있다.

또한, 상기 스크립트는 STT모듈뿐만 아니라 평가자가 상기 스크립트레이어(L2)상에서 해당 답변영상을 재생하여 직접 스크립트를 입력하여 생성되거나 혹은 상기 STT모듈에서 1차적으로 생성된 스크립트가 상기 스크립트레이어(L2)상에 표시되고, 평가자가 1차적으로 생성된 스크립트의 내용을 보정함으로써 상기 스크립트가 최종적으로 생성될 수 있다.

한편, 상기 스크립트레이어(L2)에 표시되는 스크립트는 평가자가 수행하는 드래그와 같은 입력에 의해 스크립트의 특정 영역이 선택될 수 있고, 상기 스크립트레이어(L2)에는 스크립트의 특정 영역이 선택되는 경우에 해당 질문 혹은 평가하고자 하는 특정 역량과 관련된 1 이상의 행동지표를 포함하는 행동지표리스트영역(A1)이 표시된다. 상기 행동지표리스트영역(A1) 상에서 평가자는 자신이 선택한 스크립트의 특정 영역과 관련된 행동지표를 선택할 수 있고, 상기 선택된 스크립트의 특정 영역은 후술하는 행동지표레이어(L6)에 표시될 수 있다. 이에 대해서는 도 7에서 후술하도록 한다.

상기 평가인터페이스는 점수평가레이어(L3)를 포함하고, 상기 점수평가레이어(L3)는 평가자로 하여금 해당 답변영상에 대한 특정 역량의 종합적인 평가점수를 입력 받을 수 있다. 평가자가 상기 점수평가레이어(L3)에 표시된 평가점수 영역을 선택하는 경우, 기설정된 1 이상의 평가점수가 표시된다. 예를 들어, 상기 기설정된 1 이상의 평가점수는 1점 내지 5점의 범위에서 0.5점 간격으로 설정된 1 이상의 평가점수가 표시될 수 있다. 이후에 표시되는 1 이상의 평가점수 가운데 평가자가 특정 평가점수를 선택하는 경우(도 6에서는 '3점'), 해당 평가점수가 입력되어 상기 점수평가레이어(L3)에 표시될 수 있다.

한편, 상기 평가인터페이스제공단계(S10)에서 상기 평가자에게 제공되는 평가인터페이스는, 상기 평가자로 하여금 상기 스크립트에서 해당 질문 혹은 상기 특정 역량에 상응하는 특정 행동지표가 관찰되지 않는 경우에 상기 특정 행동지표를 도출하기 위한 별도의 심층질문을 입력받는 심층질문레이어(L4); 및 상기 평가자로 하여금 상기 제1피평가자가 수행한 답변영상에 대한 특이사항을 입력받는 특이사항레이어(L5);를 포함할 수 있다.

구체적으로, 심층질문레이어(L4)는 평가자가 해당 답변영상에 대하여 평가하고자 하는 특정 역량에 대한 1 이상의 행동지표 가운데 특정 행동지표가 관찰되지 않았다고 판단하는 경우에, 해당 특정 행동지표를 관찰할 수 있는 답변을 이끌어내기 위한 심층질문을 평가자로부터 입력 받을 수 있다.

본 발명의 다른 실시예에서는 상기 심층질문레이어(L4)는 상술한 심층질문 외에도 추가적으로 평가자가 제1피평가자에게 질문하고자 하는 내용들을 입력 받을 수도 있다.

상기 특이사항레이어(L5)는 평가자로부터 상기 답변영상레이어(L1)에 표시되는 답변영상에 대한 특이사항을 입력 받을 수 있다. 예를 들어 평가자는 해당 답변영상에 대하여 '말끝을 흐리는 등 당황하는 모습을 보이는 것을 볼 때 답변 내용의 진실성이 의심스러움'과 같이 답변영상에 대한 특이사항을 상기 특이사항레이어(L5)에 입력할 수 있고, 이와 같이 입력된 특이사항은 상기 제1피평가자역량정보에 포함될 수 있다.

한편, 상기 평가인터페이스 상에서 평가자가 입력한 정보들은 상술한 제1피평가자역량정보에 포함될 수 있고, 상기 제1피평가자역량정보는 해당 제1피평가자에게 제공되고, 또한 학습데이터로써 상기 모델학습단계(S12)에서 기계학습모델을 학습시키기 위하여 사용될 수 있다.

또한, 상기 심층질문레이어(L4) 상에서 평가자가 입력한 심층질문은 피평가자의 답변영상에 따라 심층질문을 도출하는 심층질문추천모델의 학습데이터로 사용될 수 있으며, 더 구체적으로는 상기 심층질문레이어(L4) 상에서 평가자가 입력한 심층질문은 제2피평가자가 수행한 답변영상에서 관찰되지 않은 행동지표에 대한 제2피평가자의 답변을 이끌어내기 위한 질문에 해당하므로, 상기 평가자가 입력한 심층질문 및 관찰되지 않은 행동지표가 상기 심층질문추천모델의 학습데이터로 사용될 수도 있다.

한편, 도 6에서 도시되지 않았으나, 본 발명의 다른 실시예에서 상기 평가인터페이스에는 전문가비교엘리먼트가 표시될 수 있다. 상기 전문가비교엘리먼트에 대해 상기 평가자가 선택입력을 수행하는 경우, 상기 평가인터페이스의 답변영상레이어(L1)에 표시되는 답변영상에 대해 본 발명의 평가방법에 대한 전문가가 평가를 수행한 내용들이 표시될 수 있다.

더 구체적으로는 상기 평가자가 입력한 점수평가레이어(L3) 상에서의 평가점수, 심층질문레이어(L4) 상에서의 심층질문, 특이사항레이어(L5) 상에서의 특이사항 및 행동지표레이어(L6) 상에서의 1 이상의 행동지표 각각에 대한 스크립트의 특정 영역에 상응하여 상기 전문가가 입력한 내용들이 표시될 수 있고, 이를 통해 평가자가 본 발명의 평가방법을 교육받는 주체에 해당하는 경우, 상기 평가자는 자신의 평가내용을 전문가의 평가내용과 비교할 수 있다.

도 7은 본 발명의 일 실시예에 따른 스크립트레이어(L2)에서 평가자의 선택에 따라 행동지표레이어(L6)가 표시되는 구성을 개략적으로 도시한다.

도 7에 도시된 바와 같이, 상기 평가인터페이스는, 상기 평가자가 선택한 상기 스크립트레이어(L2)에 표시된 스크립트의 특정 영역에 해당하는 텍스트가 표시되는 행동지표레이어(L6);를 더 포함할 수 있다.

구체적으로, 상기 평가인터페이스는 행동지표레이어(L6)를 더 포함하고, 상기 행동지표레이어(L6)는 평가자가 선택한 스크립트의 특정 영역(B1)에 해당하는 텍스트가 표시될 수 있다. 더 구체적으로, 평가자가 상기 스크립트레이어(L2)에 표시되는 스크립트의 특정 영역을 선택(B1)하는 경우, 해당 질문 혹은 평가하고자 하는 역량에 상응하는 1 이상의 행동지표를 포함하는 행동지표리스트영역(A1)이 상기 스크립트레이어(L2) 상에 표시되고, 평가자가 상기 행동지표리스트영역(A1)에서 특정 행동지표(B2)를 선택하는 경우에 상기 행동지표레이어(L6)에 평가자가 선택한 스크립트의 특정 영역(B1)에 해당하는 텍스트가 표시될 수 있다.

더 구체적으로, 상기 행동지표레이어(L6)는, 상기 평가자가 상기 선택된 스크립트의 특정 영역(B1)에 대하여 표시되는 행동지표리스트영역(A1)에서 특정 행동지표(B2)를 선택하는 경우, 상기 행동지표레이어(L6)에 표시된 상기 특정 행동지표(B2)에 상응하는 위치에서 상기 선택된 스크립트의 특정 영역(B1)에 해당하는 텍스트가 표시될 수 있다.

도 7에 도시된 바와 같이, 상기 스크립트레이어(L2)에 표시된 스크립트에서 평가자가 특정 영역(B1)을 선택하는 경우, 상기 스크립트레이어(L2) 상에는 행동지표리스트영역(A1)이 오버레이되고, 평가자는 자신이 선택한 스크립트의 특정 영역에 관련된 특정 행동지표(B2)를 상기 행동지표리스트영역(A1)에서 선택한다.

이와 같이, 평가자가 상기 행동지표리스트영역(A1)에서 특정 행동지표(B2)를 선택하는 경우, 상기 행동지표레이어(L6)에는 평가자가 선택한 특정 행동지표(B2) 및 상기 특정 행동지표에 상응하는 상기 스크립트의 특정 영역(B1)에 상응하는 텍스트가 표시된다. 도 7에서는 평가자가 상기 행동지표리스트영역(A1)에서 스크립트의 특정 영역에 상응하는 특정 행동지표(B2, '팀원들간 지식과 정보를 공유한다.')를 선택하는 경우, 상기 행동지표레이어(L6)에는 해당 행동지표('팀원들간 지식과 정보를 공유한다.') 및 이에 상응하는 스크립트의 특정 영역('실제 삼양사 업무를 진행할 때 사장님과 대리님이 하는 업무를 어깨너머 배워 익힐 수 있었고')이 표시된다.

한편, 상기 행동지표레이어(L6)에는 답변영상과 관련된 질문 혹은 평가하고자 하는 역량과 상응하는 1 이상의 행동지표가 미리 표시되어 있고, 평가자가 상기 행동지표리스트영역(A1)에서 특정 행동지표를 선택하는 경우에, 상기 행동지표레이어(L6)에 미리 표시된 특정 행동지표에 상응하는 위치(도 7에서는 하단)에 평가자가 선택한 스크립트의 특정 영역의 텍스트가 표시될 수 있으나, 본 발명의 다른 실시예에서는, 상기 행동지표레이어(L6)에는 답변영상과 관련된 질문 혹은 평가하고자 하는 역량과 상응하는 1 이상의 행동지표가 미리 표시되어 있지 않고, 평가자가 상기 행동지표리스트영역(A1)에서 특정 행동지표를 선택하는 경우에, 상기 행동지표레이어(L6)에 특정 행동지표 및 평가자가 선택한 스크립트의 특정 영역의 텍스트가 함께 표시될 수 있다.

따라서 이와 같은 구성을 통해 평가자는 스크립트 상에서 선택한 영역에 대해 편리하게 이에 매칭되는 행동지표를 선택할 수 있고, 선택한 행동지표 및 스크립트의 특정 영역이 상기 행동지표레이어(L6)에 별도로 표시되므로 기존에 평가자가 답변영상을 기반으로 하는 평가를 수행하는데 있어 직접 피평가자의 답변을 행동지표에 따라 구조화하는데 소요되는 시간을 절약할 수 있고, 평가를 보다 원활하게 수행할 수 있는 효과를 발휘할 수 있다.

도 8은 본 발명의 일 실시예에 따른 다른 형태의 평가인터페이스의 구성을 개략적으로 도시한다.

도 8에 도시된 바와 같이, 평가자에게 제공되는 평가인터페이스의 형태는 상술한 도 6에 도시된 형태에 한정되지 않고, 도 8에 도시된 형태 혹은 그 외의 형태로 구성되어 평가자에게 제공될 수도 있다.

도 8에 도시된 평가인터페이스에서는 답변영상레이어(L10) 및 스크립트레이어(L11)가 평가인터페이스의 상단에 위치하여, 평가자가 답변영상레이어(L10)에 표시되는 답변영상 및 스크립트레이어(L11)에 표시되는 스크립트에 기초하여 각각의 행동지표에 대한 스크립트의 특정 내용을 선택할 수 있다. 한편, 스크립트레이어(L11) 상에서 평가자가 스크립트의 특정 영역을 선택하는 경우에 행동지표리스트영역(A10)이 상기 스크립트레이어(L11) 상에 오버레이될 수 있다.

한편, 평가자가 입력하는 내용들은 상기 평가인터페이스에 하단에 입력할 수 있도록 구성된다. 따라서 평가자는 평가인터페이스의 상단에 위치한 피평가자의 답변영상에 대한 내용들을 확인하고, 평가인터페이스의 하단 영역에서 답변영상에 대한 내용들을 입력할 수 있도록 구성되어, 도 8에 도시된 평가인터페이스의 형태는 도 6의 구성에 비해 사용자 경험(User Experience)을 고려하여 디자인된 평가인터페이스 형태에 해당할 수 있다.

구체적으로, 상기 평가인터페이스의 좌측 하단에는 행동지표레이어(L12)가 위치하여, 평가자가 스크립트레이어(L11) 상에서 입력한 행동지표별 스크립트의 내용들이 표시될 수 있다. 또한, 상기 평가인터페이스의 우측 하단에는 심층질문레이어(L13), 특이사항레이어(L14) 및 점수평가레이어(L15)가 순차적으로 배치되어 평가자가 심층질문 및 특이사항을 입력한 후에 마지막으로 해당 답변영상에 대한 평가점수를 상기 점수평가레이어(L15) 상에 입력할 수 있고, 영역 A11에서는 상기 점수평가레이어(L15) 상에서 입력한 평가점수가 표시될 수 있다.

도 9는 본 발명의 일 실시예에 따른 모델학습단계(S12)에 따라 기계학습모델이 학습되는 과정을 개략적으로 도시한다.

도 9에 도시된 바와 같이, 상기 서버시스템(1000)에 포함된 기계학습모델에 대하여 상기 모델학습부(1300)는 상술한 제1피평가자역량정보에 기초하여 상기 기계학습모델을 학습시켜 강화된 기계학습모델로 업데이트하는 모델학습단계(S12)를 수행한다.

구체적으로, 상기 기계학습모델은 상기 모델학습단계(S12)를 통해 상기 제1피평가자역량정보에 포함된 상기 특정 역량에 상응하는 1 이상의 행동지표 및 각각의 행동지표에 대하여 상기 평가자가 선택한 스크립트의 특정 영역을 입력 받아 학습할 수 있다.

바람직하게 기계학습모델은 특정 역량에 대한 평가를 수행할 수 있고, 따라서 상기 서버시스템(1000)에는 역량 별로 1 이상의 기계학습모델을 포함할 수 있다. 한편, 상기 기계학습모델은 특정 역량에 대한 평가를 수행하므로 해당 특정 역량에 대한 제1피평가자역량정보 즉, 해당 특정 역량에 대하여 제1피평가자가 수행한 답변영상에 대해 평가자가 입력한 제1피평가자역량정보만을 해당 기계학습모델의 학습을 위한 학습데이터로 사용하거나, 혹은 상기 모델학습단계(S12)에서는 복수의 역량 각각에 대한 제1피평가자역량정보에 대하여 라벨링을 수행하고, 라벨링된 제1피평가자역량정보를 학습데이터로 사용하여, 해당 기계학습모델이 평가하는 특정 역량에 대한 제1피평가자역량정보가 아닌 타 역량에 대한 제1피평가자역량정보를 학습데이터로 사용할 수도 있다.

더 구체적으로 모델학습단계(S12)에서는 제1피평가자역량정보에 포함된 특정 역량에 상응하는 1 이상의 행동지표 및 상기 1 이상의 행동지표 각각에 대하여 평가자가 스크립트에서 선택한 특정 영역을 상기 기계학습모델에 입력하여 학습시키고, 역량정보도출단계(S14)에서 학습된 기계학습모델을 통해 각각의 행동지표 별로 발견확률정보를 포함하는 제2피평가자역량정보를 도출할 수 있다.

또한, 상기 모델학습단계(S12)는 제1피평가자역량정보에 상응하는 답변영상을 추가적인 학습데이터로 하여 상기 기계학습모델을 학습시킬 수 있고, 이에 따라 학습된 기계학습모델은 답변영상에서의 피평가자의 표정 및 감정 등을 분석하여 평가를 수행할 수도 있다.

한편, 본 발명의 다른 실시예에서는 모델학습단계(S12)에서는 제1피평가자역량정보에 포함된 상기 특정 역량에 상응하는 1 이상의 행동지표만을 학습데이터로 하여 상기 기계학습모델을 학습시키고, 추가적으로 상기 제1피평가자역량정보에 포함된 평가점수 혹은 상기 제1피평가자역량정보에 포함된 각각의 행동지표에 대하여 상기 평가자가 선택한 스크립트의 특정 영역을 추가적인 학습데이터로 하여 상기 기계학습모델을 학습시킬 수도 있다.

또한, 상기 모델학습부(1300)는 상술한 심층질문추천모델을 학습시킬 수 있으며, 구체적으로 상기 모델학습부(1300)는 제1피평가자역량정보에 포함된 평가자가 입력한 심층질문을 학습데이터로 하여 상기 심층질문추천모델을 학습시킬 수 있다.

2. 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법

상술한 '1. 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법'에서는 제2피평가자가 수행한 답변영상에 기초하여 제2피평가자역량정보를 도출하기 위한 개략적인 방법에 대해 설명하였다.

이하에서는 제2피평가자역량정보를 도출하기 위한 구체적인 방법으로써, 제2피평가자역량정보를 도출하기 위하여 제2피평가자가 수행한 답변영상에 따라 심층질문을 설정하고, 설정된 심층질문에 대한 제2피평가자가 수행한 답변영상을 추가적으로 고려하여 평가결과를 도출하는 방법에 대해 설명하도록 한다.

한편, 상술한 '1. 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법'에서는 평가자가 직접 평가하는 것과 기계학습모델을 통해 서버시스템에서 평가하는 것을 용이하게 구분하기 위하여 제1피평가자 및 제2피평가자, 제1피평가자역량정보 및 제2피평가자역량정보로 구분하여 기재하였으나, 이하에서는 서버시스템에서 답변영상에 기초하여 평가하는 것을 중심으로 설명하므로 이하에 기재된 평가자는 상술한 제2피평가자에 해당할 수 있고, 마찬가지로 이하에 기재된 종합평가정보는 상술한 제2피평가자역량정보 혹은 종합피평가자역량정보에 해당할 수 있다.

도 10은 본 발명의 일 실시예에 따른 역량정보도출부(1500)의 세부 구성을 개략적으로 도시한다.

도 10에 도시된 바와 같이, 피평가자가 수행한 답변영상에 기초하여 심층질문을 설정하고, 상기 심층질문에 대하여 피평가자가 수행한 답변영상에 따라 종합평가정보를 도출하기 위한 단계들은 상기 역량정보도출부(1500)에서 수행될 수 있다.

구체적으로, 상기 역량정보도출부(1500)는 일반질문부(1510)를 포함하고, 상기 일반질문부(1510)는 특정 역량을 평가하기 위하여 1차적으로 해당 피평가자에게 상기 특정 역량에 대한 1 이상의 질문을 제공하는 제1질문제공부(1511) 및 상기 제1질문제공부(1511)에서 제공하는 1 이상의 질문에 따라 해당 피평가자가 수행한 답변영상에 기초하여 제1출력정보를 도출하는 제1출력정보도출부(1512)를 포함한다.

상기 제1질문제공부(1511)는 피평가자가 해당 피평가자단말기를 통해 특정 역량에 대한 평가, 해당 피평가자가 지원하고자 하는 기업에 대한 면접 평가 혹은 해당 피평가자가 지원하고자 하는 기업의 직무에 대한 면접 평가를 요청하는 경우에, 해당 특정 역량, 지원하고자 하는 기업에 상응하는 역량 혹은 지원하고자 하는 기업의 직무에 상응하는 역량에 대한 1 이상의 질문을 제공한다. 상기 1 이상의 질문은 특정 역량과 관련된 1 이상의 행동지표에 대하여 피평가자의 답변에서 상기 1 이상의 행동지표가 관찰될 수 있도록 설계된 질문에 해당할 수 있다.

피평가자는 해당 피평가자단말기를 통해 상기 제1질문제공부(1511)에서 제공하는 1 이상의 질문을 제공받을 수 있으며, 상기 피평가자단말기를 통해 상기 1 이상의 질문에 대한 답변영상을 생성할 수 있다. 이후 상기 피평가자단말기는 상기 생성된 답변영상을 상기 서버시스템(1000)으로 송신한다.

상기 제1출력정보도출부(1512)는 서버시스템(1000)에서 수신한 피평가자가 수행한 답변영상을 상술한 기계학습모델에 입력하여 제1출력정보를 도출한다. 더 구체적으로 상기 제1출력정보는 기계학습모델을 통해 상기 피평가자가 수행한 답변영상을 토대로 상기 특정 역량에 대한 평가정보 및 해당 평가정보와 관련된 도출행동지표를 포함할 수 있다.

한편, 상기 역량정보도출부(1500)는 심층질문설정부(1520)를 더 포함할 수 있고, 심층질문설정부(1520)는 상기 제1출력정보도출부(1512)에서 도출된 제1출력정보에 기초하여 해당 피평가자에게 제공될 심층질문을 도출한다.

구체적으로, 상기 심층질문설정부(1520)는 상기 특정 역량에 상응하는 복수의 행동지표에서 상기 제1출력정보에 포함된 도출행동지표에 해당하지 않는 행동지표에 대하여 해당 피평가자로 하여금 상기 해당하지 않는 행동지표와 관련된 답변을 이끌어낼 수 있는 심층질문을 도출할 수 있다.

이를 위하여, 상기 심층질문설정부(1520)는 서버시스템(1000)에 기설정된 특정 역량에 대한 복수의 행동지표와 관련된 1 이상의 질문에서 상기 해당하지 않는 행동지표와 관련된 질문을 심층질문으로 도출할 수 있으나, 규칙기반 혹은 기계학습된 심층질문추천모델을 사용하여 심층질문을 도출할 수도 있다.

마지막으로, 상기 역량정보도출부(1500)는 역량평가부(1530)를 더 포함할 수 있고, 상기 역량평가부(1530)는 상기 심층질문설정부(1520)에서 도출된 심층질문을 해당 피평가자에게 제공하고, 심층질문에 대하여 피평가자가 수행한 답변영상에 기초하여 최종적으로 특정 역량에 대한 평가를 수행한다.

구체적으로, 상기 역량평가부(1530)는 심층질문부(1540) 및 종합평가정보도출부(1550)를 포함하고, 상기 심층질문부(1540)는 상기 심층질문설정부(1520)에서 도출된 1 이상의 심층질문을 해당 피평가자에게 제공하는 제2질문제공부(1541) 및 상기 제2질문제공부(1541)에서 제공하는 1 이상의 심층질문에 따라 해당 피평가자가 수행한 답변영상에 기초하여 제2출력정보를 도출하는 제2출력정보도출부(1542)를 포함한다.

한편, 본 발명의 다른 실시예에서는 상기 제1질문제공부(1511) 및 상기 제2질문제공부(1541)는 상술한 서버시스템(1000)의 질문제공부(1400)에 포함되어 특정 역량에 대한 질문 및 심층질문을 해당 피평가자에게 제공할 수도 있다.

피평가자는 해당 피평가자단말기를 통해 상기 제2질문제공부(1541)에서 제공하는 1 이상의 심층질문을 제공받을 수 있으며, 상기 피평가자단말기를 통해 상기 1 이상의 심층질문에 대한 답변영상을 생성할 수 있다. 이후 상기 피평가자단말기는 상기 생성된 1 이상의 심층질문에 대한 답변영상을 상기 서버시스템(1000)으로 송신한다.

상기 제2출력정보도출부(1542)는 서버시스템(1000)에서 수신한 1 이상의 심층질문에 대하여 피평가자가 수행한 답변영상을 상기 기계학습모델에 입력하여 제2출력정보를 도출한다. 상기 제1출력정보와 마찬가지로 상기 제2출력정보는 기계학습모델을 통해 1 이상의 심층질문에 대하여 피평가자가 수행한 답변영상을 토대로 상기 특정 역량에 대한 평가정보 및 해당 평가정보와 관련된 도출행동지표를 포함할 수 있다.

상기 종합평가정보도출부(1550)는 상기 제1출력정보도출부(1512)에서 도출한 제1출력정보 및 상기 제2출력정보도출부(1542)에서 도출한 제2출력정보에 기초하여 종합평가정보를 도출하며, 상기 종합평가정보는 상술한 제2피평가자역량정보 혹은 종합피평가자역량정보에 해당할 수 있다.

상술한 '1. 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 제공하는 방법'에서의 역량정보도출부(1500)에서는 단순히 피평가자가 수행한 답변영상에 기초하여 피평가자역량정보를 도출하는 반면에, 본 구성에서는 피평가자가 1차적으로 수행한 답변영상에 따라 심층질문을 도출하고, 해당 심층질문에 대하여 피평가자가 수행한 답변영상을 더 고려하여 평가를 수행하므로, 더욱 신뢰성 높은 행동기반면접 기반의 평가를 수행할 수 있다.

도 11은 본 발명의 일 실시예에 따른 서버시스템(1000)에서 수행하는 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법을 개략적으로 도시한다.

도 11에 도시된 바와 같이, 서버시스템(1000)에서 수행되는 행동지표에 기반한 피평가자의 자동화된 평가방법으로서, 상기 서버시스템(1000)에는 특정 역량에 대하여 복수의 행동지표 및 복수의 질문이 기설정되어 있고, 상기 복수의 행동지표 각각은 상기 복수의 질문 중 1 이상과 연관성을 갖는 것을 특징으로 하고, 상기 자동화된 평가방법은, 상기 특정 역량에 대한 평가를 수행하기 위한 기설정된 질문 중 1 이상을 피평가자에게 제공하는 제1질문제공단계(S20) 및 상기 제1질문제공단계(S20)에서 제공하는 1 이상의 질문에 대하여 상기 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 상기 피평가자의 상기 특정 역량에 대한 평가정보 및 상기 평가정보와 관련된 도출행동지표를 포함하는 제1출력정보를 도출하는 제1출력정보도출단계(S21)를 포함하는 일반질문단계; 상기 일반질문단계가 1회 이상 수행된 후에, 도출된 1 이상의 상기 도출행동지표에 기초하여 1 이상의 심층질문을 설정하는 심층질문설정단계(S22); 및 상기 심층질문에 대하여 상기 피평가자 수행한 답변영상 및 상기 제1출력정보도출단계(S21)에서 도출된 제1출력정보에 기초하여 상기 특정 역량에 대한 평가를 수행하는 역량평가단계;를 포함할 수 있다.

구체적으로, 답변영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법을 수행하기 위하여 서버시스템(1000)은 피평가자의 요청에 따라 특정 역량에 대한 평가를 수행하기 위한 1 이상의 질문을 해당 피평가자에게 제공하는 제1질문제공단계(S20)를 수행한다. 도 3에서 기재한 바와 같이 상기 서버시스템(1000)에는 역량 별로 각각의 역량과 관련된 복수의 행동지표 및 복수의 질문이 기설정되어 있으며, 상기 복수의 행동지표 각각은 상기 복수의 질문 중 1 이상과 연관성을 갖는 것을 특징으로 한다.

상기 제1질문제공단계(S20)를 통해 평가하고자 하는 역량에 대한 1 이상의 질문을 해당 피평가자단말기에 제공하여 피평가자로 하여금 상기 1 이상의 질문에 대한 답변영상을 생성할 수 있다. 이와 같이 생성된 피평가자가 수행한 답변영상은 서버시스템(1000)으로 송신되어 DB(1600)에 저장될 수 있다.

한편, 상기 제1출력정보도출단계(S21)는 상기 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 제1출력정보를 도출한다. 상기 제1출력정보는 평가하고자 하는 특정 역량에 대한 평가정보 및 상기 평가정보와 관련된 도출행동지표를 포함한다. 상기 평가정보는 해당 답변영상에서 상기 특정 역량과 관련된 각각의 행동지표에 대한 발견확률정보 및 각각의 행동지표와 관련된 답변영상의 특정 내용에 대한 텍스트정보를 포함할 수 있다. 또한, 상기 도출행동지표는 평가하고자 하는 특정 역량과 관련된 복수의 행동지표 가운데 상기 답변영상의 내용에서 관찰되는 행동지표로써, 바람직하게는 상기 각각의 행동지표에 대한 발견확률정보가 소정의 값을 초과하는 행동지표를 도출행동지표로 도출할 수도 있다.

본 발명의 다른 실시예에서는, 상기 제1질문제공단계(S20) 및 상기 제1출력정보도출단계(S21)를 포함하는 일반질문단계는 복수의 횟수로 반복 수행될 수 있다. 예를 들어, 평가하고자 하는 특정 역량에 대한 질문이 복수인 경우에 상기 일반질문단계는 복수의 질문 개수만큼 반복적으로 수행하여, 각각의 질문 별로 제1출력정보를 도출할 수도 있다.

본 발명의 또 다른 실시예에서는, 상기 제1질문제공단계(S20)는 복수의 질문을 한번에 상기 피평가자에게 제공하고, 상기 제1출력정보도출단계(S21)는 각각의 질문에 대한 답변영상에 대하여 제1출력정보를 각각 도출하기 위하여 복수의 회수만큼 수행할 수도 있다.

상기 심층질문설정단계(S22)는 상기 제1출력정보도출단계(S21)에서 도출된 1 이상의 제1출력정보에 포함된 1 이상의 도출행동지표에 기초하여 1 이상의 심층질문을 도출한다. 더 구체적으로 상기 심층질문설정단계(S22)는 평가하고자 하는 특정 역량에 상응하는 복수의 행동지표 가운데 상기 1 이상의 도출행동지표에 포함되지 않는 행동지표에 대한 피평가자의 답변을 이끌어내기 위한 1 이상의 심층질문을 도출하며, 상기 1 이상의 심층질문을 도출하기 위하여 해당 특정 역량에 대하여 기설정된 1 이상의 질문 가운데 상기 도출행동지표에 포함되지 않는 행동지표와 관련된 질문을 심층질문으로 도출하거나, 혹은 규칙기반 또는 기계학습된 모델을 통해 심층질문을 도출할 수도 있다.

한편, 상기 역량평가단계는, 상기 심층질문설정단계(S22)에서 설정된 심층질문 중 1 이상을 상기 피평가자에게 제공하는 제2질문제공단계(S23) 및 상기 제2질문제공단계(S23)에서 제공된 1 이상의 심층질문에 대하여 상기 피평가자가 수행한 답변영상을 상기 기계학습모델에 입력하여 상기 피평가자의 상기 특정 역량에 대한 평가정보 및 상기 평가정보와 관련된 도출행동지표를 포함하는 제2출력정보를 도출하는 제2출력정보도출단계(S24)를 포함하는 심층질문단계; 및 상기 제1출력정보 및 상기 제2출력정보에 기초하여 상기 피평가자의 상기 특정 역량에 대한 종합평가정보를 도출하는 종합평가정보도출단계(S25);를 포함할 수 있다.

구체적으로, 제2질문제공단계(S23)는 상기 심층질문설정단계(S22)에서 도출된 1 이상의 심층질문을 해당 피평가자단말기로 송신하여 피평가자에게 제공하고, 해당 피평가자는 상기 제2질문제공단계(S23)로부터 제공받은 1 이상의 심층질문에 대한 답변영상을 해당 피평가자단말기를 통해 생성할 수 있다. 상기 피평가자단말기는 생성된 1 이상의 심층질문에 대한 피평가자가 수행한 답변영상을 상기 서버시스템(1000)으로 송신하고, 상기 서버시스템(1000)은 해당 답변영상을 수신하여 DB(1600)에 저장할 수 있다.

한편, 상기 제2출력정보도출단계(S24)는 상기 1 이상의 심층질문에 대하여 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 제2출력정보를 도출한다. 상기 제2출력정보도출단계(S24)에서 입력하는 기계학습모델은 상술한 제1출력정보도출단계(S21)에서의 기계학습모델과 동일할 수 있다. 상기 제2출력정보도출단계(S24)에서 도출하는 제2출력정보의 구성은 상술한 제1출력정보도출단계(S21)에서 도출하는 제1출력정보의 구성과 동일하나, 제2출력정보는 제1출력정보에 기초하여 도출된 1 이상의 심층질문에 대하여 피평가자가 수행한 답변영상에 기초하여 도출된 출력정보에 해당하므로, 상기 제1출력정보와 함께 후술하는 피평가자의 상기 특정 역량에 대한 종합평가정보를 도출하기 위한 요소로 사용될 수 있다.

상기 종합평가정보도출단계(S25)는 상기 제1출력정보 및 상기 제2출력정보에 기초하여 상기 피평가자의 상기 특정 역량에 대한 종합평가정보를 도출한다. 더 구체적으로, 상기 제1출력정보는 제1질문제공단계(S20)에서 피평가자가 평가 받고자 하는 특정 역량과 관련된 1 이상의 질문에 대한 피평가자가 수행한 답변영상에 기초하여 도출되고, 상기 제1출력정보에는 해당 답변영상에서 관찰할 수 있는 해당 특정 역량에 대한 도출행동지표에 대한 정보를 포함한다. 한편, 상기 제2출력정보는 해당 특정 역량에 대한 복수의 행동지표 가운데 상기 제1출력정보에 포함된 도출행동지표에 해당하지 않는 행동지표에 대한 답변을 해당 피평가자로부터 이끌어내기 위한 1 이상의 심층질문에 대하여 피평가자가 수행한 답변영상에 기초하여 도출되고, 상기 제2출력정보에는 해당 답변영상에서 관찰할 수 있는 해당 특정 역량에 대한 도출행동지표에 대한 정보를 포함한다. 따라서, 상기 제1출력정보 및 상기 제2출력정보에 포함되는 각각의 도출행동지표는 상기 특정 역량에 대한 복수의 행동지표 모두를 포함할 수 있고, 결과적으로 상기 제1출력정보 및 상기 제2출력정보에 기초하여 특정 역량에 대한 평가를 수행할 수 있다.

본 발명의 다른 실시예에서는, 해당 특정 역량에 대한 복수의 행동지표 가운데 상기 제1출력정보에 포함된 도출행동지표 및 상기 제2출력정보에 포함된 도출행동지표에 해당하지 않는 행동지표가 존재하는 경우, 상기 심층질문설정단계(S22)를 다시 수행하여 상기 도출행동지표에 해당하지 않는 행동지표에 대한 추가적인 심층질문을 도출하며, 마찬가지로 상기 제2질문제공단계(S23) 및 상기 제2출력정보도출단계(S24)를 다시 수행하여 상기 도출행동지표에 해당하지 않는 행동지표에 대하여 피평가자가 수행한 답변영상에 대한 출력정보를 도출할 수 있고, 이와 같은 반복 과정은 각각의 출력정보에 포함되는 1 이상의 도출행동지표가 해당 특정 역량에 대한 복수의 행동지표를 모두 포함할 때까지 반복될 수 있다.

본 발명의 또 다른 실시예에서는, 상기 제1출력정보도출단계(S21)에서 도출되는 제1출력정보에 포함된 1 이상의 도출행동지표가 상기 특정 역량에 대한 복수의 행동지표 모두를 포함하는 경우에, 심층질문과 관련된 단계들을 수행하지 않고 바로 상기 종합평가정보도출단계(S25)를 수행할 수 있으며, 이와 같은 경우, 상기 종합평가정보도출단계(S25)에서는 제1출력정보에 기초하여 종합평가정보를 도출할 수도 있다.

도 12는 본 발명의 일 실시예에 따른 심층질문설정단계(S22)의 세부 단계들을 개략적으로 도시한다.

도 12에 도시된 바와 같이, 상기 심층질문설정단계(S22)는, 상기 특정 역량에 대하여 설정된 복수의 행동지표 및 상기 일반질문단계를 통해 도출된 1 이상의 상기 도출행동지표에 기초하여 상기 복수의 행동지표 가운데 상기 도출행동지표로 도출되지 않은 행동지표를 판별하고, 상기 피평가자로 하여금 상기 도출행동지표로 도출되지 않은 행동지표와 관련된 답변을 이끌어내기 위한 1 이상의 심층질문을 설정할 수 있다.

구체적으로, 상기 심층질문설정단계(S22)는 평가하고자 하는 특정 역량에 상응하는 복수의 행동지표 가운데 상기 제1출력정보에 포함되는 1 이상의 도출행동지표에 포함되지 않는 행동지표를 판별하는 단계(S30)를 포함한다. 상기 단계(S30)를 통해 제1출력정보에 포함되지 않은 행동지표만을 판별함으로써 후술하는 단계(S31)에서 제1출력정보에 포함되지 않은 행동지표와 관련된 답변을 피평가자로부터 이끌어낼 수 있는 질문에 해당하는 심층질문을 도출할 수 있다.

이어서, 상기 심층질문설정단계(S22)는 도출행동지표에 포함되지 않는 행동지표에 대한 1 이상의 심층질문을 설정하는 단계(S31)를 더 포함한다. 상기 단계(S31)에서는 도출행동지표로 도출되지 않은 행동지표를 피평가자의 답변에서 관찰할 수 있도록 해당 행동지표와 연관된 1 이상의 심층질문을 도출한다. 상기 1 이상의 심층질문은 상기 서버시스템(1000)에 기설정된 각각의 행동지표에 상응하는 1 이상의 질문 가운데, 도출행동지표로 도출되지 않은 행동지표에 상응하는 1 이상의 질문 혹은 상기 1 이상의 질문 가운데 특정 질문을 심층질문으로 도출할 수 있다.

도 12에 도시된 심층질문설정부(1520)에서 수행하는 심층질문설정단계(S22)는 소정의 단계들을 수행하여 서버시스템(1000)에 행동지표별로 저장되어 있는 질문 풀(pool)에서 도출행동지표에 해당하지 않는 행동지표에 상응하는 질문 풀에서 특정 질문을 심층질문으로 도출하는 방법에 해당하나, 본 발명의 다른 실시예에서는 기계학습된 심층질문추천모델을 사용하여 심층질문을 도출할 수 있다.

도 13은 본 발명의 일 실시예에 따른 역량정보도출부(1500)에서 기계학습모델에 의해 출력정보를 도출하는 과정을 개략적으로 도시한다.

도 13에 도시된 바와 같이, 상기 역량정보도출부(1500)는 기계학습모델에 피평가자의 답변영상을 입력하여 출력정보를 도출하며, 구체적으로 상기 역량정보도출부(1500)에 포함되는 제1출력정보도출부(1512)는 제1질문제공부(1511)에서 제공하는 1 이상의 질문에 대하여 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 상기 제1출력정보를 도출할 수 있고, 상기 역량정보도출부(1500)에 포함되는 제2출력정보도출부(1542)는 제2질문제공부(1541)에서 제공하는 1 이상의 심층질문에 대하여 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 상기 제2출력정보를 도출할 수 있다.

구체적으로, 상기 기계학습모델은 피평가자가 수행한 답변영상에 대한 평가를 수행하는 다양한 세부 기계학습모델을 포함할 수 있다. 상기 세부 기계학습모델은 딥러닝 기반으로 학습되어 평가를 수행할 수 있는 세부 기계학습모델에 해당하거나, 혹은 학습이 아닌 기설정된 루틴 혹은 알고리즘에 따라 해당 답변영상에 대한 특징정보를 도출하고, 도출된 특징정보에 대한 평가를 수행하는 세부 기계학습모델에 해당할 수 있다.

본 발명의 일 실시예에서 상기 역량정보도출부(1500)는 기본적으로 복수의 연속된 영상(이미지)정보 및 음성정보를 포함하는 피평가자가 수행한 답변영상을 입력받고, 딥러닝과 같은 기계학습 기술을 통해 학습된 기계학습모델을 통해 출력정보를 도출한다. 또한, 추가적으로 상기 역량정보도출부(1500)는 기계학습이 아닌 기설정된 규칙을 기반으로 답변영상을 분석하고, 특정 평가값들을 도출할 수도 있다. 상기 역량정보도출부(1500)는 복수의 연속된 영상(이미지) 및 음성을 포함하는 답변영상으로부터 영상 및 음성정보를 추출하여 이를 각각의 세부 기계학습모델에 입력하여 결과값을 도출하거나 혹은 영상 및 음성정보를 종합하여 세부 기계학습모델에 입력하여 결과값을 도출할 수도 있다.

한편, 상기 역량정보도출부(1500)는 상기 기계학습모델을 포함하여, 상기 답변영상에서 도출된 특징정보에 기초하여 출력정보를 도출하거나, 혹은 상기 역량정보도출부(1500)는 별도로 구비된 기계학습모델을 호출하여 상기 답변영상에서 도출된 특징정보에 기초하여 출력정보를 도출할 수도 있다.

상기 역량정보도출부(1500)에서 피평가자가 수행한 답변영상을 기계학습모델에 입력하여, 기계학습모델을 통해 출력정보를 도출하는 세부적인 구성에 대해서는 도 15에서 상세하게 설명하도록 한다.

도 14는 본 발명의 일 실시예에 따른 심층질문설정단계(S22)에서 심층질문추천모델에 의해 심층질문을 도출하는 과정을 개략적으로 도시한다.

도 14에 도시된 바와 같이, 상기 심층질문설정단계(S22)는, 상기 제1출력정보도출단계(S21)에서 도출된 제1출력정보를 기계학습 기반의 심층질문추천모델에 입력하여 상기 피평가자로 하여금 상기 도출행동지표로 도출되지 않은 행동지표와 관련된 답변을 이끌어내기 위한 1 이상의 심층질문을 도출할 수 있다.

구체적으로, 상기 심층질문설정부(1520)는 상술한 도 12에서와 같이 기설정된 소정의 단계들을 수행하여 심층질문을 도출하거나 혹은 도 14에 도시된 바와 같이 심층질문추천모델에 상기 제1출력정보를 입력하여 심층질문을 도출할 수도 있다. 상기 심층질문추천모델은 상술한 제1피평가자역량정보에 포함되는 심층질문정보, 더 구체적으로는 상기 심층질문정보는 상기 평가인터페이스에 포함된 심층질문레이어 상에서 평가자가 입력한 심층질문에 해당하며, 상기 심층질문추천모델은 심층질문정보를 기반으로 학습을 수행할 수 있다.

한편, 상기 심층질문추천모델은 상기 심층질문정보만을 학습할 수도 있으나, 바람직하게는 상기 평가인터페이스 상에서 평가자가 입력한 심층질문에 관련된 행동지표를 추가로 학습하여, 관찰되지 않은 행동지표 및 이에 따른 심층질문과의 관계를 학습할 수도 있다.

또한, 상기 심층질문추천모델은 피평가자의 답변영상을 기반으로 심층질문을 도출하는 다양한 세부 기계학습모델을 포함할 수 있으며, 상기 세부 기계학습모델은 딥러닝 기반으로 학습되어 심층질문을 도출할 수 있는 세부 기계학습모델에 해당하거나, 혹은 학습이 아닌 기설정된 루틴 혹은 알고리즘에 따라 특징정보를 도출하고, 도출된 특징정보를 기반으로 심층질문을 도출하는 세부 기계학습모델에 해당할 수 있다.

한편, 상기 심층질문설정부(1520)는 상기 심층질문추천모델을 포함하여, 상기 제1출력정보에 기초하여 1 이상의 심층질문을 도출하거나, 혹은 상기 심층질문설정부(1520)는 별도로 구비된 심층질문추천모델을 호출하여 상기 제1출력정보에 기초하여 1 이상의 심층질문을 도출할 수도 있다.

또한, 도 14에 도시된 심층질문추천모델은 도 13에 도시된 기계학습모델과 구분되는 별도의 모델로 도시되어 있으나, 본 발명의 다른 실시예에서는 상기 심층질문추천모델은 상기 기계학습모델에 포함되고, 상기 기계학습모델에 포함된 세부 기계학습모델에 의해 도출된 제1출력정보를 입력 받아 1 이상의 심층질문을 도출할 수도 있다.

도 15는 본 발명의 일 실시예에 따른 피평가자가 수행한 답변영상을 기계학습모델에 입력하여, 기계학습모델에서 출력정보를 도출하는 구성을 개략적으로 도시한다.

도 15에 도시된 바와 같이, 상기 역량정보도출부(1500)에서 수행하는 제1출력정보도출단계(S21) 및 제2출력정보도출단계(S24)는 피평가자가 수행한 답변영상을 입력 받아 소정의 단계를 수행하여 상기 답변영상을 처리하고, 처리된 답변영상을 상기 기계학습모델에 입력하여 출력정보를 도출할 수 있다. 한편, 도 15의 (A), (B) 및 (C)에 도시된 도면들은 상기 역량정보도출부(1500)에서 기계학습모델에 입력하는 입력요소들의 구성에 대한 다양한 실시예에 해당한다.

구체적으로, 도 15의 (A) 내지 (C)에 도시된 바와 같이, 상기 제1출력정보도출단계(S21) 및 상기 제2출력정보도출단계(S24)는, 상기 피평가자가 수행한 답변영상에서 영상정보 및 음성정보를 분리하고, 분리된 영상정보 및 음성정보 각각을 전처리하여 상기 기계학습모델에 입력할 수 있다.

상기 제1출력정보도출단계(S21)는 상기 제1질문제공부(1511)에서 피평가자에게 제공하는 1 이상의 질문에 대하여 피평가자가 수행한 답변영상을 입력 받아, 해당 답변영상에서 영상정보 및 음성정보를 분리한다. 마찬가지로, 상기 제2출력정보도출단계(S24)는 상기 제2질문제공부(1541)에서 피평가자에게 제공하는 1 이상의 심층질문에 대하여 피평가자가 수행한 답변영상을 입력 받아, 해당 답변영상에서 영상정보 및 음성정보를 분리한다. 더 구체적으로 상기 역량정보도출부(1500)는 영상음성분리모듈을 포함하고, 상기 영상음성분리모듈은 제1출력정보도출단계(S21) 및 제2출력정보도출단계(S24)에서 입력 받는 각각의 답변영상들을 영상정보 및 음성정보로 분리한다.

한편, 상기 영상음성분리모듈에 의해 분리된 영상정보 및 음성정보는 각각 개별적으로 전처리되어 상기 기계학습모델에 입력된다. 더 구체적으로 상기 역량정보도출부(1500)는 전처리모듈을 더 포함하고, 상기 전처리모듈은 상기 영상정보 및 상기 음성정보 각각을 전처리한다. 이와 같이, 상기 전처리모듈을 통해 상기 기계학습모델의 알고리즘에 알맞은 형태로 상기 영상정보 및 상기 음성정보가 변환되며 상기 기계학습모델의 성능을 개선시킬 수 있다.

이를 위하여 상기 전처리모듈에서는 영상정보 및 음성정보에 대하여 Data Cleaning 단계를 통해 missing value 혹은 feature를 처리하고, Handling Text and Categorical Attributes 단계를 통해 one hot encoding 방식 등을 통해 숫자형 데이터로 인코딩하고, Custom Transformers 단계를 통해 데이터를 변환하고, Feature Scaling 단계를 통해 데이터의 범위를 설정하고, Transformation Pipelines 단계를 통해 이러한 과정을 자동화 할 수 있으며, 상기 전처리모듈에서 수행하는 단계들은 상술한 단계들에 한정되지 않고, 기계학습모델을 위한 다양한 전처리 단계들을 포함할 수 있다.

한편, 상기 제1출력정보도출단계(S21) 및 상기 제2출력정보도출단계(S24)는, 상기 피평가자가 수행한 답변영상에 기초하여 텍스트정보를 도출하는 단계; 상기 도출된 텍스트정보를 벡터로 표현하는 임베딩을 수행하는 단계; 및 상기 임베딩된 벡터를 상기 기계학습모델에 입력하는 단계;를 포함할 수 있다.

구체적으로, 상기 역량정보도출부(1500)는 STT모듈을 더 포함하고, 상기 STT모듈은 제1출력정보도출단계(S21) 및 제2출력정보도출단계(S24)에서 입력 받은 답변영상에 대하여 Speech to Text(STT) 변환을 수행하여 각각의 답변영상의 음성에 대한 텍스트정보를 도출할 수 있다. 상기 STT모듈에서 수행하는 Speech to Text 변환 방법은 기존에 존재하는 다양한 STT 변환 방법을 사용할 수 있다. 한편, 텍스트정보는 상술한 STT모듈을 통한 STT변환 방법에 의해서만 도출되지 않을 수 있고, 상기 답변영상에 대하여 서버시스템(1000)의 관리자 등에 의해 답변영상에 대한 텍스트를 직접 입력받거나, 혹은 상기 STT모듈을 통해 1차적으로 답변영상에 대한 텍스트정보를 도출하고, 해당 텍스트정보를 서버시스템(1000)의 관리자 등이 보정함으로써 최종적인 텍스트정보가 도출될 수도 있다.

한편, 본 발명의 다른 실시예에서 상기 STT모듈은 상기 영상음성분리모듈을 통해 분리된 답변영상의 음성정보를 입력 받아 STT 변환을 수행하여 해당 음성정보를 텍스트정보로 변환할 수도 있다.

이어서, 상기 제1출력정보도출단계(S21) 및 상기 제2출력정보도출단계(S24)는 도출한 텍스트정보를 벡터로 표현하는 임베딩을 수행하는 단계를 포함한다. 더 구체적으로, 상기 역량정보도출부(1500)는 임베딩모듈을 더 포함하고, 상기 임베딩모듈에서 상기 답변영상에 기초하여 도출된 텍스트정보에 대하여 임베딩을 수행할 수 있다.

이와 같이, 상기 답변영상에 기초하여 도출된 텍스트정보만을 임베딩하고, 텍스트정보에 대한 임베딩된 벡터, 전처리된 영상정보 및 전처리된 음성정보를 기계학습모델에 입력하여 출력정보를 도출하는 구성을 도시한 도면이 도 15의 (A)에 해당한다.

한편, 본 발명의 다른 실시예에서는 도 15의 (B)에 도시된 바와 같이, 상기 역량정보도출부(1500)는 답변영상에 기초하여 도출한 텍스트정보 및 상기 피평가자가 수행한 답변영상에 대한 질문의 텍스트정보를 벡터로 표현하는 임베딩을 수행하는 단계를 수행할 수 있고, 해당 질문에 대한 임베딩된 벡터는 기계학습모델에 입력되는 추가적인 구성에 해당할 수 있다. 따라서 해당 기계학습모델은 답변영상뿐만 아니라 답변영상에 대한 질문을 더 고려하여 더욱 정교한 출력정보를 도출할 수 있다.

상기 임베딩모듈에서는 One-hot encoding, CountVectorizer, TfidVectorizer 및 Word2Vec 등 다양한 임베딩 방법을 사용하여 각각의 텍스트정보를 벡터 형태로 표현할 수 있다. 상기 제1출력정보도출단계(S21) 및 상기 제2출력정보도출단계(S24)에서는 이와 같이 임베딩된 벡터들을 상기 기계학습모델에 입력하고, 상기 기계학습모델은 상술한 전처리된 영상정보 및 음성정보와 임베딩된 벡터들을 입력받아 피평가자가 수행한 답변영상에 대한 출력정보를 도출할 수 있다.

이와 같이, 상기 기계학습모델에는 답변영상에 기초하여 도출된 텍스트정보 혹은 상기 답변영상에 기초하여 도출된 텍스트정보 및 상기 피평가자가 수행한 답변영상에 대한 질문의 텍스트정보 각각을 임베딩한 벡터만을 입력하여 출력정보를 도출할 수도 있으나, 바람직하게는 영상정보 및 음성정보 각각을 상기 기계학습모델에 추가적으로 입력하여, 텍스트만으로는 파악하기 어려운 피평가자의 답변의 맥락 및 의도를 파악할 수 있고, 따라서 더욱 정확한 출력정보를 도출할 수 있다.

한편, 본 발명의 또 다른 실시예에서는 도 15의 (C)에서 도시하는 바와 같이, 상기 역량정보도출부(1500)는 기계학습모델에 전처리된 영상정보, 전처리된 음성정보, 상기 기계학습모델에 입력하고자 하는 피평가자가 수행한 답변영상에 기초하여 도출된 텍스트정보 및 해당 답변영상에 대한 역량식별자를 입력하여 해당 답변영상에 대한 출력정보를 도출할 수 있다.

도 15의 (C)에 도시된 기계학습모델은 특정 역량에 대한 평가를 수행하는 것이 아니라 복수의 역량에 대한 평가를 수행할 수 있는 기계학습 기반의 모델에 해당할 수 있고, 이와 같은 경우 상기 기계학습모델에 상기 역량식별자를 입력하여 상기 역량식별자에 상응하는 특정 역량에 대한 평가를 수행할 수 있다. 즉, 상기 기계학습모델은 복수의 역량 각각에 대한 평가를 수행할 수 있고, 해당 기계학습모델에 피평가자가 수행한 답변영상 및 해당 답변영상을 통해 평가하고자 하는 특정 역량을 식별할 수 있는 역량식별자를 입력하여 출력정보를 도출할 수 있다.

또한, 도 15에 도시되지는 않았으나, 도 15의 (B) 및 (C)의 구성을 결합하여 기계학습모델에 피평가자가 수행한 답변영상에 대한 전처리된 영상정보, 전처리된 음성정보, 해당 답변영상에 기초하여 도출된 텍스트정보에 대하여 임베딩된 벡터, 해당 답변영상에 대한 질문의 텍스트정보에 대하여 임베딩된 벡터 및 해당 답변영상에 상응하는 역량식별자를 상기 기계학습모델에 입력하여 출력정보를 도출할 수도 있다.

도 16은 본 발명의 일 실시예에 따른 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 도출된 출력정보에 따라 심층질문을 설정하고, 이에 따라 종합평가정보를 도출하는 구성을 개략적으로 도시한다.

도 16에 도시된 바와 같이, 제1질문제공부(1511)는 피평가자에게 특정 역량과 관련된 1 이상의 질문을 제공하고, 이에 따라 제1출력정보도출부(1512)는 도 15에서 도시된 바와 같이 상기 1 이상의 질문에 대하여 피평가자가 수행한 답변영상을 처리하고, 처리된 답변영상을 기계학습모델에 입력하여 제1출력정보를 도출할 수 있다.

한편, 상기 제1질문제공부(1511)에서 제공하는 1 이상의 질문은 각각의 질문 사이의 관계를 고려하지 않은 개별 질문의 내용들이 독립적인 형태로 구성될 수 있으나, 바람직하게는 1 이상의 질문들은 상호간 연관성이 존재할 수 있다. 예를 들어, 1 이상의 질문 중 첫 번째 질문은 특정 역량과 관련된 피평가자의 과거 경험의 '상황'을 물어보는 질문에 해당하고, 두 번째 질문은 첫 번째 질문과 연계하여 첫 번째 질문의 상황에서 어떤 '행동'을 했는지를 물어보는 질문에 해당하고, 세 번째 질문은 첫 번째 질문 및 두 번째 질문과 연계하여 두 번째 질문에서의 행동의 '결과'를 물어보는 질문에 해당하여 각각의 질문이 상호 연계되도록 구성될 수 있다.

또한, 도 16에서 상기 제1질문제공부(1511)는 각각의 질문을 개별적으로 제공하고, 제1출력정보도출부(1512)는 개별적으로 제공된 질문 별로 피평가자가 수행한 답변영상 각각에 대하여 제1출력정보를 도출하였으나, 본 발명의 다른 실시예에서는 상기 제1질문제공부(1511)는 1 이상의 질문을 피평가자에게 한번에 제공하고, 상기 제1출력정보도출부(1512)는 1 이상의 질문에 대하여 피평가자가 수행한 답변영상을 각각의 질문 별로 구분하여 상기 기계학습모델에 입력하거나 혹은 답변영상 전체를 상기 기계학습모델에 입력하여 제1출력정보를 도출할 수도 있다.

한편, 상기 제1출력정보도출부(1512)는 답변영상에서 관찰되는 특정 역량에 대한 행동지표를 도출행동지표로 하여 이를 포함하는 제1출력정보를 도출하고, 상기 심층질문설정부(1520)는 상기 심층질문설정단계(S22)를 수행하여 상기 제1출력정보에 기초하여 1 이상의 심층질문을 도출한다.

도 16에서는 특정 역량에 관한 행동지표는 행동지표 1 내지 5에 해당하고, 첫 번째 질문에 대하여 피평가자가 수행한 답변영상에 기초하여 도출된 제1출력정보에 포함되는 도출행동지표는 행동지표 1을 포함하고, 두 번째 질문에 대하여 피평가자가 수행한 답변영상에 기초하여 도출된 제1출력정보에 포함되는 도출행동지표는 행동지표 3 및 4를 포함하고, 세 번째 질문에 대하여 피평가자가 수행한 답변영상에 기초하여 도출된 제1출력정보에 포함되는 도출행동지표는 행동지표 4를 포함한다.

한편, 심층질문설정부(1520)는 각각의 제1출력정보에 포함된 도출행동지표에 해당하지 않는 행동지표에 관련된 심층질문을 도출한다. 예를 들어 도 16에서는 각각의 제1출력정보에는 행동지표 2 및 5에 해당하는 도출행동지표를 포함하지 않고, 따라서 상기 심층질문설정부(1520)는 행동지표 2 및 5와 관련된 답변을 해당 피평가자로부터 이끌어낼 수 있는 1 이상의 심층질문을 도출한다.

상기 심층질문설정부(1520)는 도출행동지표에 해당하지 않는 행동지표와 관련된 기설정된 질문 가운데 1 이상을 심층질문으로 도출하거나 혹은 기계학습된 심층질문추천모델을 통해 별도의 심층질문을 도출할 수도 있다.

이와 같이, 심층질문설정부(1520)에서 1 이상의 심층질문이 도출되면 상기 제2질문제공부(1541)는 피평가자에게 상기 1 이상의 심층질문을 제공하고, 이에 따라 제2출력정보도출부(1542)는 도 15에서 도시된 바와 같이 상기 1 이상의 심층질문에 대하여 피평가자가 수행한 답변영상을 처리하고, 처리된 답변영상을 기계학습모델에 입력하여 제2출력정보를 도출할 수 있다. 마찬가지로 상기 제2출력정보도출부(1542)는 답변영상에서 관찰되는 특정 역량에 대한 행동지표를 도출행동지표로 하여 이를 포함하는 제2출력정보를 도출할 수 있다.

한편, 상기 제1출력정보도출단계(S21)에서 도출하는 제1출력정보 및 상기 제2출력정보도출단계(S24)에서 도출하는 제2출력정보는, 상기 평가정보와 관련된 도출행동지표에 대한 발견확률정보 및 상기 발견확률정보에 상응하는 상기 피평가자가 수행한 답변영상의 텍스트정보를 더 포함할 수 있다.

구체적으로, 상기 기계학습모델을 통해 도출된 제1출력정보 및 제2출력정보는 피평가자가 수행한 답변영상에 상응하는 1 이상의 도출행동지표 각각에 대하여 상기 답변영상에 관련 답변내용이 포함되어 있는 지에 대한 발견확률정보를 포함할 수 있고, 상기 발견확률정보는 종합평가정보도출단계(S25)에서 도출하는 종합평가정보에도 포함될 수 있다.

더 구체적으로, 상술한 바와 같이 평가자가 스크립트레이어 상에서 스크립트의 특정 영역을 선택하고, 선택한 특정 영역에 상응하는 특정 행동지표를 행동지표리스트영역 상에서 선택하여 제1피평가자가 수행한 답변영상에서 특정 행동지표에 상응하는 특정 답변 내용을 선택하는 것과 같이, 상기 기계학습모델은 발견확률정보를 도출하여 피평가자가 수행한 답변영상에 대하여 해당 답변영상에 상응하는 1 이상의 행동지표 별로 각각의 행동지표와 관련된 답변내용의 발견 가능성을 확률적으로 산출할 수 있다.

또한, 상기 제1출력정보도출부(1512) 및 상기 제2출력정보도출부(1542)는 상기 피평가자가 수행한 답변영상에 대하여 역량정보도출부(1500)에서 답변영상에 기초하여 도출된 텍스트정보 가운데 상기 기계학습모델에서 산출된 1 이상의 도출행동지표 각각에 대한 발견확률정보에 상응하는 특정 텍스트정보를 각각 제1출력정보 및 제2출력정보에 더 포함하여 도출할 수 있다.

본 발명의 다른 실시예에서 상기 제1출력정보도출부(1512) 및 상기 제2출력정보도출부(1542)는 상기 피평가자가 수행한 답변영상에 기초하여 도출된 텍스트정보 가운데 상기 기계학습모델에서 산출된 1 이상의 도출행동지표 각각에 대한 발견확률정보가 소정의 값을 초과하는 도출행동지표에 상응하는 특정 텍스트정보를 각각 제1출력정보 및 제2출력정보에 더 포함하여 도출할 수도 있다.

본 발명의 또 다른 실시예에서는 1 이상의 도출행동지표 각각에 대한 발견확률정보에 상응하는 특정 텍스트정보는 상기 기계학습모델을 통해 도출될 수도 있다.

한편, 상기 종합평가정보도출단계(S25)에서 도출하는 종합평가정보는, 상기 제1출력정보도출단계(S21) 및 상기 제2출력정보도출단계(S24)에서 도출된 각각의 도출행동지표에 대한 발견확률정보를 종합하여 산출된 상기 특정 역량에 대한 스코어를 포함할 수 있다.

구체적으로, 상기 종합평가정보도출부(1550)에서 수행하는 종합평가정보도출단계(S25)는 상기 제1출력정보 및 상기 제2출력정보에 기초하여 최종적으로 피평가자의 특정 역량을 평가하는 종합평가정보를 도출한다.

상기 종합평가정보도출부(1550)는 상술한 평가인터페이스에 포함되는 점수평가레이어(L3) 상에서 평가자가 입력하는 평가점수와 같이, 상기 피평가자가 수행한 답변영상에 대하여 스코어를 산출하고, 상기 스코어는 종합평가정보에 포함될 수 있다. 상기 종합평가정보도출부(1550)에서 산출하는 스코어는 상기 평가자가 점수평가레이어(L3) 상에서 입력하는 평가점수와 같이, 기설정된 범위 내에서 특정 간격으로 설정된 복수의 점수 가운데 특정 점수를 스코어로 산출할 수 있다.

이와 같이 상기 종합평가정보에는 특정 역량에 대한 평가를 점수화한 스코어를 포함하므로, 피평가자에 대한 특정 역량의 보유 정도를 수치화하여 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 다른 실시예에서는, 상기 종합평가정보도출단계(S25)에서 도출하는 종합평가정보는, 상기 제1출력정보도출단계(S21) 및 상기 제2출력정보도출단계(S24)에서 입력하는 각각의 답변영상에 대해 전처리한 결과 정보를 종합하여 산출된 상기 특정 역량에 대한 스코어를 포함할 수 있다.

구체적으로, 상기 종합평가정보도출단계(S25)에서 도출하는 종합평가정보는 제1출력정보도출단계(S21)에서 상기 기계학습모델에 입력하는 피평가자가 수행한 1 이상의 답변영상 및 제2출력정보제공단계(S24)에서 상기 기계학습모델에 입력하는 심층질문에 대하여 피평가자가 수행한 1 이상의 답변영상을 별도의 기계학습모델에 입력하여 도출되는 해당 피평가자의 특정 역량에 대한 스코어를 포함할 수 있다.

또한, 상기 별도의 기계학습모델에 입력되는 답변영상들은 전처리를 위한 소정의 단계를 거쳐 전처리된 답변영상들이 상기 별도의 기계학습모델에 입력될 수도 있다.

한편, 제1출력정보 및 제2출력정보를 도출하는 기계학습모델 및 종합평가정보를 도출하는 별도의 기계학습모델은 단일 기계학습모델에 포함될 수 있고, 상기 제1출력정보 및 상기 제2출력정보를 도출하기 위하여 각각의 답변영상들이 상기 단일 기계학습모델에 입력되어, 상기 기계학습모델에서 제1출력정보 및 제2출력정보를 도출하고, 상기 별도의 기계학습모델은 상기 단일 기계학습모델에 입력된 각각의 답변영상 혹은 상기 기계학습모델에서 도출된 제1출력정보 및 제2출력정보에 기초하여 종합평가정보를 도출할 수도 있다.

도 17은 본 발명의 일 실시예에 따른 피평가자가 수행한 답변영상을 입력받은 기계학습모델에서 도출된 특징정보를 더 포함하여 종합평가정보를 도출하는 구성을 개략적으로 도시한다.

도 17에 도시된 바와 같이, 상기 종합평가정보도출단계(S25)에서 도출하는 종합평가정보는, 상기 제1출력정보 및 상기 제2출력정보에 포함된 도출행동지표에 대한 발견확률정보, 텍스트정보, 해당 답변영상에 대한 기초스코어정보 및 상기 기계학습모델에서 상기 제1출력정보 및 상기 제2출력정보를 도출하기 위하여 생성된 특징정보 가운데 1 이상의 정보에 기초하여 도출된 상기 특정 역량에 대한 스코어를 포함할 수 있다.

구체적으로, 도 17은 피평가자가 수행한 답변영상에 기초하여 종합평가정보를 도출하는 과정을 도시한 도면에 해당한다. 도 17에 도시된 바와 같이, 피평가자에게 제공되는 복수의 질문 각각에 대한 답변영상은 기계학습모델에 입력되고, 기계학습모델은 각각의 답변영상에 대한 역량도출결과에 해당하는 출력정보를 도출한다. 상기 출력정보는 해당 답변영상에 상응하는 도출행동지표에 대한 발견확률정보, 도출행동지표에 대한 텍스트정보 및 기초스코어정보를 포함할 수 있다. 상기 기초스코어정보는 상기 종합평가정보에 포함되는 특정 역량에 대한 스코어와는 상이하게 해당 단일 답변영상에 상응하는 스코어에 해당할 수 있다.

이와 같이, 상기 출력정보를 도출하는 과정은 상술한 제1출력정보도출단계(S12) 및 제2출력정보도출단계(S24)에서 수행될 수 있다. 상기 피평가자에게 제공되는 복수의 질문에는 도 16에서 설명한 바와 같이, 서버시스템에서 도출된 심층질문을 포함한다. 한편, 답변영상을 입력받은 기계학습모델은 역량도출결과에 해당하는 출력정보를 도출하기 위하여 입력받은 답변영상에 대한 특징정보를 1차적으로 도출하고, 해당 특징정보에 기초하여 상기 출력정보를 도출한다. 기계학습모델에서 특징정보를 도출하는 것에 대해서는 도 18에서 후술하도록 한다.

한편, 상기 종합평가정보도출단계(S25)에서는 도출된 1 이상의 출력정보 및 각각의 답변영상에 대하여 기계학습모델에서 도출된 각각의 특징정보에 기초하여 종합평가정보를 도출할 수 있고, 상기 종합평가정보는 평가하고자 하는 특정 역량에 대한 스코어를 포함할 수 있다.

더 구체적으로, 상기 종합평가정보도출단계(S25)에서는 별도의 기계학습모델에 상기 제1출력정보도출단계(S21) 및 상기 제2출력정보도출단계(S24)에서 도출된 출력정보 및 상기 제1출력정보도출단계(S21) 및 상기 제2출력정보도출단계(S24)에서 사용하는 기계학습모델에서 도출된 특징정보를 입력하고, 상기 별도의 기계학습모델은 해당 피평가자의 특정 역량에 대한 스코어를 포함하는 종합평가정보를 도출한다.

상기 종합평가정보도출단계(S25)에서의 별도의 기계학습모델은 상술한 제1출력정보도출단계(S21) 및 제2출력정보도출단계(S24)에서의 기계학습모델과 상이하나, 본 발명의 다른 실시예에서는 전체기계학습모델에 상기 기계학습모델 및 상기 별도의 기계학습모델을 포함하여, 상기 제1출력정보도출단계(S21), 상기 제2출력정보도출단계(S24) 및 종합평가정보도출단계(S25)에서는 상기 전체기계학습모델을 통해 출력정보 및 종합평가정보를 도출할 수도 있다. 또한 상기 별도의 기계학습모델은 딥러닝 방식의 기계학습을 수행하여 종합평가정보를 도출하거나, 혹은 앙상블 학습 방식의 기계학습을 수행하여 종합평가정보를 도출할 수도 있다.

한편, 상기 종합평가정보도출단계(S25)에서는 출력정보 및 특징정보를 상기 별도의 기계학습모델에 입력하거나 혹은 출력정보에 포함되는 발견확률정보, 텍스트정보, 해당 답변영상에 대한 기초스코어정보 및 특징정보 가운데 1 이상의 정보를 입력하여 상기 종합평가정보를 도출할 수도 있다.

이와 같이, 본 발명의 일 실시예에서는 상기 종합평가정보도출단계(S25)에서 종합평가정보를 도출하기 위하여 별도의 기계학습모델에 기계학습모델에서 도출한 특징정보를 입력요소로 사용함으로써, 더욱 정확한 역량 평가 결과를 도출할 수 있는 효과를 발휘할 수 있다.

도 18은 본 발명의 일 실시예에 따른 피처추출모델의 내부 구성을 개략적으로 도시한다.

상술한 기계학습모델은 피처추출모델 및 피처추론모델을 포함할 수 있고, 도 18에 도시된 실시예에 따른 상기 피처추출모델은, 상기 피평가자가 수행한 답변영상의 복수의 프레임의 영상정보로부터 복수의 영상특징정보를 도출하는 공간 특징정보를 추출하는 제1딥뉴럴네트워크; 상기 피평가자가 수행한 답변영상의 음성정보로부터 복수의 음성특징정보를 도출하는 공간 특징정보를 추출하는 제2딥뉴럴네트워크; 상기 복수의 영상특징정보를 수신하여 제1특징정보를 도출하는 제1순환신경망모듈; 및 상기 복수의 음성특징정보를 수신하여 제2특징정보를 도출하는 제2순환신경망모듈; 상기 답변영상의 음성정보를 Speech to Text(STT) 변환하거나 혹은 서버시스템(1000)의 관리자 등으로부터 상기 답변영상에 기초하여 입력받은 스크립트를 수신하여 제3특징정보를 도출하는 제3순환신경망모듈;을 포함할 수 있다.

상기 제1딥뉴럴네트워크 및 상기 제2딥뉴럴네트워크는 CNN모듈 등이 이에 해당할 수 있고, 도 18에 도시된 일 실시예에서는 상기 제1딥뉴럴네트워크는 제1CNN모듈에 해당하고, 제2딥뉴럴네트워크는 제2CNN모듈에 해당할 수 있다.

상기 제1순환신경망모듈, 제2순환신경망모듈 및 제3순환신경망모듈은 RNN모듈에 포함되는 LSTM모듈 등이 이에 해당할 수 있고, 도 18에 도시된 일 실시예에서는 제1순환신경망모듈은 제1LSTM모듈에 해당하고, 제2순환신경망모듈은 제2LSTM모듈에 해당하며, 제3순환신경망모듈은 제3LSTM모듈에 해당할 수 있다.

이하에서는 도 18에 도시된 실시예에 기초하여, 본 발명의 일 실시예에 따른 뉴럴네트워크의 동작에 대하여 설명하도록 한다.

상기 복수의 프레임은 기설정된 시간간격으로 영상의 이미지를 분할하여 생성될 수 있다. 또한, 제1CNN모듈에 의하여 도출된 복수의 영상특징정보는 제1LSTM모듈로 시계열 순으로 입력됨이 바람직하다.

한편, 기설정된 시간구간에 대한 음성에 대한 특징정보(피치, 세기 등), 혹은 음성 자체의 데이터는 제2CNN모듈로 입력되고, 제2CNN모듈로부터 도출된 음성특징정보는 제2LSTM모듈로 시계열 순으로 입력됨이 바람직하다.

또한, 상기 음성에 대한 특징정보에는 피치 혹은 세기에 해당할 수 있으나, 더욱 바람직하게는 상기 음성을 일정한 구간으로 나누어, 각 구간에 대한 스펙트럼을 Mel Filter Bank를 적용하여 Cepstral 분석을 통해 특징을 추출하는 Mel-Frequency Cepstral Coefficient(MFCC)가 해당될 수 있다.

피처추출모델에 입력되는 스크립트는 바람직하게는 해당 스크립트를 토큰 단위로 임베딩된 벡터에 해당될 수 있다.

한편, 피처추출모델의 출력에 해당하는 특징정보(벡터열)는 상기 제1세부특징정보, 상기 제2세부특징정보 및 상기 제3세부특징정보에 기초하여 도출된다. 가장 간단한 방법으로는 상기 제1세부특징정보, 상기 제2세부특징정보 및 제3세부특징정보를 단순 결합하여 상기 특징정보를 도출할 수 있고, 혹은 상기 제1세부특징정보, 상기 제2세부특징정보 및 상기 제3세부특징정보에 가중치 등을 적용하여 상기 특징정보를 도출할 수도 있다.

도 19는 본 발명의 일 실시예에 따른 피처추론모델의 내부 구성을 개략적으로 도시한다.

도 19에 도시된 바와 같이, 피처추론모델은 피처추출모델로부터 도출된 특징정보에 대해 복수의 Fully Connected Layer에 의하여 학습된 가중치를 부여하여 중간결과(Representative Vector)를 도출하는 과정을 수행하여 제2피평가자가 수행한 답변영상에 대한 결과값을 도출한다.

예를 들어, 상술한 기계학습모델은 피평가자가 수행한 답변영상을 분석하여 해당 답변영상에 상응하는 특정 역량에 대한 피평가자의 해당 역량의 보유 정도에 대한 정보를 도출할 수 있다.

상기 Fully Connected Layer의 개수는 도 19에 도시된 개수에 한정되지 아니하고, 상기 피처추론모델은 1 이상의 Fully Connected Layer를 포함할 수 있다. 상기 피처추론모델이 단일의 Fully Connected Layer로 이루어진 경우에 상기 중간결과는 생략될 수도 있다.

한편, 본 발명의 다른 실시예에서 상기 피처추론모델은 Softmax 활성화 함수를 사용하여 기설정된 판별 기준에 따라 분류하도록 하는 문제를 처리하거나 Sigmoid 활성화 함수 등을 이용하여 점수를 도출하는 방식으로 구현될 수도 있다.

도 20은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.

상술한 도 1에 도시된 서버시스템(1000)은 상기 도 20에 도시된 컴퓨팅장치의 구성요소들을 포함할 수 있다.

도 20에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)는 도 1에 도시된 서버시스템(1000) 혹은 상기 서버시스템(1000)에 포함되는 1 이상의 서버에 해당될 수 있다.

메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.

주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.

이러한 도 20의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 20에 도시된 일부 컴포넌트가 생략되거나, 도 20에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 20에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 사용자단말 혹은 가맹점단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 사용자단말 혹은 가맹점단말에서의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명의 일 실시예에 따르면, 특정 역량에 대한 평가를 수행하기 위한 기계학습모델을 통해 피평가자의 답변영상에 기초하여 평가결과를 도출하므로, 평가에 소요되는 시간 및 비용을 절감함과 동시에 객관적인 평가결과를 도출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 평가인터페이스제공단계에서 평가자에게 제공되는 평가인터페이스는 스크립트레이어를 포함하고, 스크립트레이어에는 피평가자의 답변영상에 따른 스크립트가 표시되어, 평가자가 피평가자의 답변을 용이하게 인지할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 스크립트레이어는 평가자가 스크립트의 특정 영역을 선택하는 경우, 해당 질문 혹은 특정 역량에 대한 행동지표리스트영역이 표시되므로, 피평가자가 선택한 특정 영역에 대해 상응하는 행동지표를 평가자가 용이하게 선택할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 평가인터페이스는 평가자가 스크립트레이어에서 선택한 스크립트의 특정 영역 및 행동지표리스트영역에서 선택한 행동지표리스트영역의 특정 행동지표리스트가 표시되는 행동지표레이어를 포함하므로, 평가자가 각 행동지표 별 피평가자의 답변을 용이하게 파악할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 평가인터페이스는 평가자로 하여금 피평가자의 답변영상에 따른 심층질문을 입력받는 심층질문레이어 및 피평가자의 답변영상에 대한 특이사항을 입력받는 특이사항레이어를 포함하므로, 평가자가 해당 평가방법에 대한 교육을 받는 경우, 해당 평가방법에 대한 전문가가 작성한 심층질문 및 특이사항을 비교해볼 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 피평가자의 답변영상에서 영상정보 및 음성정보를 분리하여, 각각의 영상정보 및 음성정보를 기계학습모델에 입력하여 평가결과를 도출하므로, 피평가자의 답변영상에서의 맥락 및 답변 의도를 세부적으로 파악하여 정확한 평가결과를 도출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 기계학습모델을 통해 역량정보도출단계에서 도출하는 제2피평가자역량정보는 행동지표 각각에 대한 발견확률정보를 포함하므로, 평가결과를 객관적으로 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 기계학습모델을 통해 역량정보도출단계에서 도출하는 제2피평가자역량정보는 행동지표 각각에 대한 발견확률정보에 상응하는 피평가자의 답변영상에서의 텍스트정보를 더 포함하므로, 행동지표에 상응하는 피평가자의 답변을 구체적으로 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 제1출력정보도출단계에서 도출한 제1출력정보에 포함된 도출행동지표 및 특정 역량에 대한 복수의 행동지표에 기초하여 심층질문을 설정하므로, 평가자 없이도 관찰되지 않은 행동지표에 대한 답변을 이끌어낼 수 있는 심층질문을 피평가자에게 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 역량평가단계에서 제1출력정보 및 심층질문에 대한 피평가자가 수행한 답변영상을 추가적으로 분석하여 도출된 제2출력정보에 기초하여 종합평가정보를 도출하므로, 더욱 정확한 평가결과를 도출할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예에 따르면, 종합평가정보도출단계에서 도출하는 종합평가정보에는 제1출력정보 및 제2출력정보에서의 발견확률정보를 종합하여 산출된 특정 역량에 대한 스코어를 포함하므로 직관적으로 피평가자의 평가결과를 인지할 수 있는 효과를 발휘할 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

1. 서버시스템에서 수행되는 행동지표에 기반한 피평가자의 자동화된 평가방법으로서,
   상기 서버시스템에는 특정 역량에 대하여 복수의 행동지표 및 복수의 질문이 기설정되어 있고, 상기 복수의 행동지표 각각은 상기 복수의 질문 중 1 이상과 연관성을 갖는 것을 특징으로 하고,
   상기 자동화된 평가방법은,
   상기 특정 역량에 대한 평가를 수행하기 위한 기설정된 질문 중 1 이상을 피평가자에게 제공하는 제1질문제공단계 및 상기 제1질문제공단계에서 제공하는 1 이상의 질문에 대하여 상기 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 상기 피평가자의 상기 특정 역량에 대한 평가정보 및 상기 특정 역량과 관련된 복수의 행동지표 각각에 대하여 상기 답변영상에서 상기 복수의 행동지표 각각을 발견할 가능성에 대한 발견확률정보 가운데 기설정된 값을 초과하는 행동지표에 해당하는 도출행동지표를 포함하는 제1출력정보를 도출하는 제1출력정보도출단계를 포함하는 일반질문단계;
   상기 일반질문단계가 1회 이상 수행된 후에, 도출된 1 이상의 상기 도출행동지표에 기초하여 1 이상의 심층질문을 설정하는 심층질문설정단계; 및
   상기 심층질문에 대하여 상기 피평가자 수행한 답변영상 및 상기 제1출력정보도출단계에서 도출된 제1출력정보에 기초하여 상기 특정 역량에 대한 스코어를 포함하는 종합평가정보를 도출하는 역량평가단계;를 포함하고,
   상기 심층질문설정단계는,
   상기 특정 역량에 대하여 설정된 복수의 행동지표 및 상기 일반질문단계를 통해 도출된 1 이상의 상기 도출행동지표에 기초하여 상기 복수의 행동지표 가운데 상기 도출행동지표로 도출되지 않은 행동지표를 판별하고, 상기 피평가자로 하여금 상기 도출행동지표로 도출되지 않은 행동지표와 관련된 답변을 이끌어내기 위한 1 이상의 심층질문을 설정하는, 자동화된 평가방법.
   
2. 청구항 1에 있어서,
   상기 역량평가단계는,
   상기 심층질문설정단계에서 설정된 심층질문 중 1 이상을 상기 피평가자에게 제공하는 제2질문제공단계 및 상기 제2질문제공단계에서 제공된 1 이상의 심층질문에 대하여 상기 피평가자가 수행한 답변영상을 상기 기계학습모델에 입력하여 상기 피평가자의 상기 특정 역량에 대한 평가정보 및 상기 평가정보와 관련된 도출행동지표를 포함하는 제2출력정보를 도출하는 제2출력정보도출단계를 포함하는 심층질문단계; 및
   상기 제1출력정보 및 상기 제2출력정보에 기초하여 상기 피평가자의 상기 특정 역량에 대한 종합평가정보를 도출하는 종합평가정보도출단계;를 포함하는, 자동화된 평가방법.
   
3. 삭제
4. 청구항 1에 있어서,
   상기 심층질문설정단계는,
   상기 제1출력정보도출단계에서 도출된 제1출력정보를 기계학습 기반의 심층질문추천모델에 입력하여 상기 피평가자로 하여금 상기 도출행동지표로 도출되지 않은 행동지표와 관련된 답변을 이끌어내기 위한 1 이상의 심층질문을 도출하는, 자동화된 평가방법.
   
5. 청구항 2에 있어서,
   상기 제1출력정보도출단계 및 상기 제2출력정보도출단계는,
   상기 피평가자가 수행한 답변영상에서 영상정보 및 음성정보를 분리하고, 분리된 영상정보 및 음성정보 각각을 전처리하여 상기 기계학습모델에 입력하는, 자동화된 평가방법.
   
6. 청구항 2에 있어서,
   상기 제1출력정보도출단계 및 상기 제2출력정보도출단계는,
   상기 피평가자가 수행한 답변영상에 기초하여 텍스트정보를 도출하는 단계;
   상기 도출된 텍스트정보를 벡터로 표현하는 임베딩을 수행하는 단계; 및
   상기 임베딩된 벡터를 상기 기계학습모델에 입력하는 단계;를 포함하는, 자동화된 평가방법.
   
7. 청구항 2에 있어서,
   상기 제1출력정보도출단계에서 도출하는 제1출력정보 및 상기 제2출력정보도출단계에서 도출하는 제2출력정보는,
   상기 평가정보와 관련된 도출행동지표에 대한 발견확률정보 및 상기 발견확률정보에 상응하는 상기 피평가자가 수행한 답변영상의 텍스트정보를 더 포함하는, 자동화된 평가방법.
   
8. 삭제
9. 청구항 7에 있어서,
   상기 종합평가정보도출단계에서 도출하는 종합평가정보는,
   상기 제1출력정보 및 상기 제2출력정보에 포함된 도출행동지표에 대한 발견확률정보, 텍스트정보, 해당 답변영상에 대한 기초스코어정보 및 상기 기계학습모델에서 상기 제1출력정보 및 상기 제2출력정보를 도출하기 위하여 생성된 특징정보 가운데 1 이상의 정보에 기초하여 도출된 상기 특정 역량에 대한 스코어를 포함하는, 자동화된 평가방법.
   
10. 삭제
11. 행동지표에 기반한 피평가자의 자동화된 평가방법을 수행하는 서버시스템으로서,
    상기 서버시스템에는 특정 역량에 대하여 복수의 행동지표 및 복수의 질문이 기설정되어 있고, 상기 복수의 행동지표 각각은 상기 복수의 질문 중 1 이상과 연관성을 갖는 것을 특징으로 하고,
    상기 특정 역량에 대한 평가를 수행하기 위한 기설정된 질문 중 1 이상을 피평가자에게 제공하는 제1질문제공부 및 상기 제1질문제공부에서 제공하는 1 이상의 질문에 대하여 상기 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 상기 피평가자의 상기 특정 역량에 대한 평가정보 및 상기 특정 역량과 관련된 복수의 행동지표 각각에 대하여 상기 답변영상에서 상기 복수의 행동지표 각각을 발견할 가능성에 대한 발견확률정보 가운데 기설정된 값을 초과하는 행동지표에 해당하는 도출행동지표를 포함하는 제1출력정보를 도출하는 제1출력정보도출부를 포함하는 일반질문부;
    상기 일반질문부가 1회 이상 동작된 후에, 도출된 1 이상의 상기 도출행동지표에 기초하여 1 이상의 심층질문을 설정하는 심층질문설정부; 및
    상기 심층질문에 대하여 상기 피평가자 수행한 답변영상 및 상기 제1출력정보도출부에서 도출된 제1출력정보에 기초하여 상기 특정 역량에 대한 스코어를 포함하는 종합평가정보를 도출하는 역량평가부;를 포함하고,
    상기 심층질문설정부는,
    상기 특정 역량에 대하여 설정된 복수의 행동지표 및 상기 일반질문부를 통해 도출된 1 이상의 상기 도출행동지표에 기초하여 상기 복수의 행동지표 가운데 상기 도출행동지표로 도출되지 않은 행동지표를 판별하고, 상기 피평가자로 하여금 상기 도출행동지표로 도출되지 않은 행동지표와 관련된 답변을 이끌어내기 위한 1 이상의 심층질문을 설정하는, 서버시스템.
    
12. 1 이상의 프로세서 및 1 이상의 메모리를 갖는 서버시스템에서 수행되는 행동지표에 기반한 피평가자의 자동화된 평가방법을 구현하기 위한, 컴퓨터-판독가능 매체로서, 상기 컴퓨터-판독가능 매체는, 서버시스템으로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 이하의 단계들은:
    상기 서버시스템에는 특정 역량에 대하여 복수의 행동지표 및 복수의 질문이 기설정되어 있고, 상기 복수의 행동지표 각각은 상기 복수의 질문 중 1 이상과 연관성을 갖는 것을 특징으로 하고,
    상기 자동화된 평가방법은,
    상기 특정 역량에 대한 평가를 수행하기 위한 기설정된 질문 중 1 이상을 피평가자에게 제공하는 제1질문제공단계 및 상기 제1질문제공단계에서 제공하는 1 이상의 질문에 대하여 상기 피평가자가 수행한 답변영상을 기계학습모델에 입력하여 상기 피평가자의 상기 특정 역량에 대한 평가정보 및 상기 특정 역량과 관련된 복수의 행동지표 각각에 대하여 상기 답변영상에서 상기 복수의 행동지표 각각을 발견할 가능성에 대한 발견확률정보 가운데 기설정된 값을 초과하는 행동지표에 해당하는 도출행동지표를 포함하는 제1출력정보를 도출하는 제1출력정보도출단계를 포함하는 일반질문단계;
    상기 일반질문단계가 1회 이상 수행된 후에, 도출된 1 이상의 상기 도출행동지표에 기초하여 1 이상의 심층질문을 설정하는 심층질문설정단계; 및
    상기 심층질문에 대하여 상기 피평가자 수행한 답변영상 및 상기 제1출력정보도출단계에서 도출된 제1출력정보에 기초하여 상기 특정 역량에 대한 스코어를 포함하는 종합평가정보를 도출하는 역량평가단계;를 포함하고,
    상기 심층질문설정단계는,
    상기 특정 역량에 대하여 설정된 복수의 행동지표 및 상기 일반질문단계를 통해 도출된 1 이상의 상기 도출행동지표에 기초하여 상기 복수의 행동지표 가운데 상기 도출행동지표로 도출되지 않은 행동지표를 판별하고, 상기 피평가자로 하여금 상기 도출행동지표로 도출되지 않은 행동지표와 관련된 답변을 이끌어내기 위한 1 이상의 심층질문을 설정하는, 컴퓨터-판독가능 매체.
    

Images