KR20210109704A - 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법, 컴퓨터 판독가능매체, 및 면접준비 서비스를 제공하는 방법 - Google Patents

기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법, 컴퓨터 판독가능매체, 및 면접준비 서비스를 제공하는 방법 Download PDF

Info

Publication number
KR20210109704A
KR20210109704A KR1020200024346A KR20200024346A KR20210109704A KR 20210109704 A KR20210109704 A KR 20210109704A KR 1020200024346 A KR1020200024346 A KR 1020200024346A KR 20200024346 A KR20200024346 A KR 20200024346A KR 20210109704 A KR20210109704 A KR 20210109704A
Authority
KR
South Korea
Prior art keywords
information
relevance
feature information
sequence
deriving
Prior art date
Application number
KR1020200024346A
Other languages
English (en)
Other versions
KR102371172B1 (ko
Inventor
노용만
위삼 자랄 알하즈 바다르
유대훈
이영복
Original Assignee
주식회사 제네시스랩
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제네시스랩, 한국과학기술원 filed Critical 주식회사 제네시스랩
Priority to KR1020200024346A priority Critical patent/KR102371172B1/ko
Publication of KR20210109704A publication Critical patent/KR20210109704A/ko
Application granted granted Critical
Publication of KR102371172B1 publication Critical patent/KR102371172B1/ko

Links

Images

Classifications

    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06K9/00268—
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G06Q10/1053—Employment or hiring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법 및 컴퓨터 판독가능매체에 관한 것으로서, 시간의 흐름에 따라 연속적으로 입력되는 이미지를 포함한 데이터로부터 사용자의 감정, 표정, 행동 등의 특징정보를 인식함에 있어서, 영상 혹은 이미지에서 조명, 자세, 개인외모 등에 따른 추출하고자 하는 특징정보와 관련성이 낮은 정보의 영향을 최소화할 수 있는, 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법 및 컴퓨터 판독가능매체에 관한 것이다.

Description

기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법, 컴퓨터 판독가능매체, 및 면접준비 서비스를 제공하는 방법 {Feature Information Derivation From A Plural of frames System Using Machine Learning Model, Methods, Computer-Readable Mediums thereof, and Interview Preparation Service Providing Method}
본 발명은 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법 및 컴퓨터 판독가능매체에 관한 것으로서, 시간의 흐름에 따라 연속적으로 입력되는 이미지를 포함한 데이터로부터 사용자의 감정, 표정, 행동 등의 특징정보를 인식함에 있어서, 영상 혹은 이미지에서 조명, 자세, 개인외모 등에 따른 추출하고자 하는 특징정보와 관련성이 낮은 정보의 영향을 최소화할 수 있는, 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법 및 컴퓨터 판독가능매체 및 피평가자에게 면접스킬을 향상할 수 있는 피드백을 주고, 피평가자가 보다 자신의 면접스킬을 향상시킬 수 있는 피드백을 보다 직관적이고 세부적으로 파악할 수 있는 기계학습을 이용한 면접준비 서비스를 제공하는 방법에 관한 것이다.
종래에도 학습된 인공신경망 기술을 이용하여 영상정보의 대상이 되는 인물의 표정변화로부터 대상의 감정을 인식하는 기술이 존재하였다.
다만, 이와 같은 종래 기술의 경우, 영상정보의 대상이 되는 인물 개개인이 갖는 고유특성, 외형이 대상의 감정을 인식하는데 있어서 방해가 될 수 있다. 예를 들어, 인종, 성별에 따라 표정의 모습과 변화가 상이하기 때문에, 기본 혹은 중립 표정이 다를 수 있고, 또한 표정의 강도가 개인마다 상이하기 때문에, 이에 대한 인공신경망적 판단이 부정확해질 수 있다.
또한, 영상정보에서의 얼굴의 각도에 따라 포즈가 변화할 수 있고 또한 영상 촬영시의 빛에 의한 영향이 영상마다 상이할 수 있어서, 적은 수의 프레임으로는 대상의 감정을 판별하기 어렵다는 문제점이 있을 수 있다.
따라서, 학습된 인공신경망 기술을 이용하여 대상의 감정을 인식하는데 있어서, 일반적으로는 방대한 양의 영상정보가 학습되어야 하고 또한 판별 대상 정보의 경우에도 입력되어야 대상의 감정을 인식할 수 있다는 문제점이 있었다.
따라서, 적은 양의 영상정보로 대상의 외형 등의 개인고유 특징, 빛 등의 환경에 의한 영향을 최소화하면서 대상의 감정을 인식할 수 있는 새로운 기술에 대한 요구가 있었다.
한편, 면접은 일반적으로 면접을 통해 평가를 받는 면접자 및 면접자에 대한 평가를 수행하는 면접관으로 구성되며, 면접관의 질문과 면접자의 답변으로 진행되며 전체 질의응답에 대한 종합평가로 이루어진다.
면접은 질문 및 응답을 통해 면접자의 전문지식, 전문기술 혹은 정보활용능력 등의 하드 스킬(hard skill) 뿐만 아니라 면접자의 태도, 의사소통 능력 등의 소프트 스킬(soft skill) 을 파악하는 것을 목적으로 한다.
한편, 많은 취업 준비생들이 면접 준비를 하고 있지만, 이에 대한 객관적인 평가 결과를 제공하기는 어려운 실정이고, 특히 소프트 스킬의 경우에는 다양한 면접관으로서의 경험이 있는 평가자만이 바른 평가를 내릴 수 있으며, 또한 현실적으로 오프라인에서 타인의 소프트 스킬적인 부분에 대해 지적을 하기는 어렵다.
또한, 소프트 스킬은 면접관의 주관적 경험과 직관에 따라 다르게 판단되는 영역으로서, 면접관에 따라 평가 기준 및 평가 방법 등이 달라질 수 있다. 이와 같이 면접관의 주관에 따라 달라지는 평가 방법에 의해 면접자의 소프트 스킬이 객관적으로 평가되기 어려운 문제가 있다.
또한, 소프트 스킬의 경우에는 다양한 요소가 존재하며, 이에 대한 결과를 제공하는 방식도 매우 중요하다. 단순히 외향적이다 혹은 내향적이다 정도의 평가가 아닌 면접준비자가 자신이 전체적으로 부족한 부분을 세부적으로 파악할 수 있는 것이 필요하다. 또한, 면접 중에 어느 시점에서 부족함이 있었는지를 파악하는 것이 필요하나, 이와 같은 서비스를 제공하는 경우는 종래기술은 전무하다.
본 발명의 목적은 시간의 흐름에 따라 연속적으로 입력되는 이미지를 포함한 데이터로부터 사용자의 감정, 표정, 행동 등의 특징정보를 인식함에 있어서, 영상 혹은 이미지에서 조명, 자세, 개인외모 등에 따른 추출하고자 하는 특징정보와 관련성이 낮은 정보의 영향을 최소화할 수 있는, 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법 및 컴퓨터 판독가능매체 및 피평가자에게 면접스킬을 향상할 수 있는 피드백을 주고, 피평가자가 보다 자신의 면접스킬을 향상시킬 수 있는 피드백을 보다 직관적이고 세부적으로 파악할 수 있는 기계학습을 이용한 면접준비 서비스를 제공하는 방법을 제공하는 것이다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 복수의 프레임으로부터 특징정보를 도출하는 방법으로서, 복수의 변형된 LSTM모듈 각각에는 각각의 프레임의 시퀀스에 따라, 해당 시퀀스의 프레임의 인코딩된 특징정보를 포함하는 인코딩정보(xt), 이전 시퀀스의 LSTM모듈에서 출력되는 잠재적특징정보(ht-1), 이전 시퀀스의 LSTM모듈에서 출력되는 셀상태정보(ct-1)를 포함하는 정보가 입력되고, 복수의 변형된 LSTM모듈 각각에서는, 학습된 제1가중치정보에 기초하여, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 있는 관련성특징정보(x1t)를 도출하고, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 상기 관련성특징정보에 비해 상대적으로 낮은 비관련성특징정보(x2- t)를 도출하는 인코딩정보분리단계; 학습된 제2가중치정보, 현재 시퀀스의 상기 관련성특징정보(x1t), 현재 시퀀스의 상기 비관련성특징정보(x2- t), 이전 시퀀스의 상기 잠재적특징정보(ht-1), 이전 시퀀스의 상기 셀상태정보(ct-1)를 포함하는 정보에 기초하여, 포겟게이트, 인풋게이트, 아웃풋게이트를 이용하여, 해당 시퀀스의 프레임의 추론아웃풋정보(ot)를 출력하는 아웃풋정보도출단계;를 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 방법을 제공한다.
본 발명의 일 실시예에서는, 상기 인코딩정보분리단계는, 학습된 제1가중치, 현재 시퀀스의 인코딩정보(xt), 및 상기 이전잠재적특징정보(ht-1)에 포함된 정보에 기초하여, 상기 인코딩정보(xt)의 각각의 정보에서 도출하고자 하는 특징정보의 추출과 관련되는 어텐션파라미터(at)를 도출하는 단계; 상기 어텐션파라미터(at)와 상기 인코딩정보(xt)에 기초하여 관련성특징정보(x1t)를 도출하는 단계; 및 상기 어텐션파라미터(at)의 변형값과 상기 인코딩정보(xt)를 요소별 연산을 통하여, 비관련성특징정보(x2t)를 도출하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 어텐션파라미터(at)는 상기 현재 시퀀스의 인코딩정보(xt)에 요소별 연산(element-wise product)이 가능한 형태일 수 있다.
본 발명의 일 실시예에서는, 이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함할 수 있다.
본 발명의 일 실시예에서는, 이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1)를 포함하고, 상기 어텐션파라미터(at)는 학습된 제1가중치, 현재 시퀀스의 인코딩정보(xt), 및 이전 시퀀스의 상기 관련성잠재적특징정보(h1t-1)에 기초하여 도출될 수 있다.
본 발명의 일 실시예에서는, 상기 어텐션파라미터(at)의 변형값은 어텐션파라미터(at)의 각각의 열의 값이 커질수록 상응하는 상기 어텐션파리미터(at)의 변형값의 각각의 열의 값은 작아질 수 있다.
본 발명의 일 실시예에서는, 이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함하고, 상기 아웃풋정보도출단계는, 이전 시퀀스의 상기 관련성특징정보(x1t-1), 관련성잠재적특징정보(h1t-1), 및 학습된 가중치를 포함하는 정보에 기초하여 관련성셀상태정보(c1t)를 도출하고, 이전 시퀀스의 상기 비관련성특징정보(x2t-1), 비관련성잠재적특징정보(h2t-1), 및 학습된 가중치를 포함하는 정보에 기초하여 비관련성셀상태정보(c2t)를 도출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에서는, 이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함하고, 이전 시퀀스의 상기 셀상태정보(ct-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성셀상태정보(c1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성셀상태정보 (c2t-1)을 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 아웃풋정보도출단계에서는, 학습된 가중치, 현재 시퀀스의 상기 관련성특징정보(x1t)를 포함하는 정보에 기초하여 관련성인풋게이트값(i1t), 관련성포겟게이트값(f1t)를 도출하고, 학습된 가중치, 현재 시퀀스의 상기 비관련성특징정보(x2t)를 포함하는 정보에 기초하여 비관련성인풋게이트값(i2t), 비관련성포겟게이트값(f2t)을 도출하고, 상기 관련성인풋게이트값(i1t), 비관련성인풋게이트값(i2t), 관련성포겟게이트값(f1t), 및 비관련성포겟게이트값(f2t)는 상기 추론아웃풋정보(ot)를 도출하는 데 사용될 수 있다.
본 발명의 일 실시예에서는, 상기 관련성인풋게이트값(i1t)를 도출하는 데 사용되는 학습된 가중치는 상기 비관련성인풋게이트값(i2t)를 도출하는 데 사용되는 학습된 가중치와 동일할 수 있다.
본 발명의 일 실시예에서는, 상기 관련성포겟게이트값(f1t)를 도출하는 데 사용되는 학습된 가중치는 상기 비관련성포겟게이트값(f2t)를 도출하는 데 사용되는 학습된 가중치와 동일할 수 있다.
본 발명의 일 실시예에서는, 상기 아웃풋정보도출단계에서 도출되는 상기 추론아웃풋정보(ot)는, 현재 시퀀스의 상기 관련성특징정보(x1t); 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1); 및 현재 시퀀스의 상기 관련성특징정보(x1t)를 포함하는 정보에 기초하여 도출되는 현재 시퀀스의 관련성셀상태정보(c1t)와는 양(positive) 관계를 가질 수 있다.
본 발명의 일 실시예에서는, 상기 아웃풋정보도출단계에서 도출되는 상기 추론아웃풋정보(ot)는, 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1); 및 현재 시퀀스의 상기 비관련성특징정보(x2t)를 포함하는 정보에 기초하여 도출되는 현재 시퀀스의 비관련성셀상태정보(c2t)와는 음(negative) 관계를 가질 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는 복수의 프레임으로부터 특징정보를 도출하는 방법을 구현하기 위한 컴퓨터-판독가능 매체로서, 상기 컴퓨터-판독가능 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은: 복수의 변형된 LSTM모듈 각각에서의, 각각의 프레임의 시퀀스에 따라, 해당 시퀀스의 프레임의 특징정보를 포함하는 인코딩정보(xt), 이전 시퀀스의 LSTM모듈에서 출력되는 잠재적특징정보(ht-1), 이전 시퀀스의 LSTM모듈에서 출력되는 셀상태정보(ct-1)를 포함하는 정보가 입력되는 단계; 복수의 변형된 LSTM모듈 각각에서의, 학습된 제1가중치정보에 기초하여, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 있는 관련성특징정보(x1t)를 도출하고, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 상기 관련성특징정보에 비해 상대적으로 낮은 비관련성특징정보(x2- t)를 도출하는 인코딩정보분리단계; 및 복수의 변형된 LSTM모듈 각각에서의, 학습된 제2가중치정보, 현재 시퀀스의 상기 관련성특징정보(x1t), 현재 시퀀스의 상기 비관련성특징정보(x2- t), 이전 시퀀스의 상기 잠재적특징정보(ht-1), 이전 시퀀스의 상기 셀상태정보(ct-1)를 포함하는 정보에 기초하여, 포겟게이트, 인풋게이트, 아웃풋게이트를 이용하여, 해당 시퀀스의 프레임의 추론아웃풋정보(ot)를 출력하는 아웃풋정보도출단계;를 포함하는, 컴퓨터-판독가능 매체를 제공한다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 복수의 프레임으로부터 특징정보를 도출하는 장치로서, 상기 장치는 1 이상의 메모리 및 1 이상의 프로세서를 포함하고, 상기 프로세서는, 복수의 변형된 LSTM모듈 각각에의, 각각의 프레임의 시퀀스에 따라, 해당 시퀀스의 프레임의 특징정보를 포함하는 인코딩정보(xt), 이전 시퀀스의 LSTM모듈에서 출력되는 잠재적특징정보(ht-1), 이전 시퀀스의 LSTM모듈에서 출력되는 셀상태정보(ct-1)를 포함하는 정보가 입력되는 단계; 복수의 변형된 LSTM모듈 각각에서의, 학습된 제1가중치정보에 기초하여, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 있는 관련성특징정보(x1t)를 도출하고, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 상기 관련성특징정보에 비해 상대적으로 낮은 비관련성특징정보(x2- t)를 도출하는 인코딩정보분리단계; 및 학습된 제2가중치정보, 현재 시퀀스의 상기 관련성특징정보(x1t), 현재 시퀀스의 상기 비관련성특징정보(x2- t), 이전 시퀀스의 상기 잠재적특징정보(ht-1), 이전 시퀀스의 상기 셀상태정보(ct-1)를 포함하는 정보에 기초하여, 포겟게이트, 인풋게이트, 아웃풋게이트를 이용하여, 해당 시퀀스의 프레임의 추론아웃풋정보(ot)를 출력하는 아웃풋정보도출단계;를 수행하는, 복수의 프레임으로부터 특징정보를 도출하는 장치를 제공한다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 서비스서버에서 수행되는 기계학습을 이용한 면접준비 서비스를 제공하는 방법으로서, 기설정된 질문세트 중 1 이상의 질문정보를 사용자단말기에 송신하고, 상기 사용자단말기로부터 상기 질문정보에 응답을 수행한 면접영상을 수신하여 저장하는 면접영상저장단계; 기계학습을 이용한 평가모델을 통하여 상기 면접영상에 대한 자동평가정보를 생성하는 면접영상평가단계; 및 상기 자동평가정보에 기초하여 사용자단말기에 자동평가결과를 제공하는 평가결과제공단계;를 포함하는, 기계학습을 이용한 면접준비 서비스를 제공하는 방법으로서, 상기 면접영상평가단계는, 전술한 복수의 프레임으로부터 특징정보를 도출하는 방법을 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 장치를 제공한다.
본 발명의 일 실시예에서는, 상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 디스플레이요소는, 상기 면접영상을 재생할 수 있는 영상레이어; 2 이상의 평가결과 카테고리를 선택할 수 있는 카테고리레이어; 상기 2 이상의 평가결과 카테고리 중 선택된 평가결과 카테고리에 대한 자동평가결과가 디스플레이되는 자동평가결과레이어를 포함할 수 있다.
본 발명의 일 실시예에서는, 상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 화면은, 상기 면접영상 전체에 대한 평가에 대한 요소를 디스플레이하는 제1화면 및 상기 면접영상의 부분단위의 평가에 대한 요소를 디스플레이하는 제2화면을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 시간의 흐름에 따라 연속적으로 입력되는 이미지를 포함한 데이터로부터 사용자의 감정, 표정, 행동 등의 특징정보를 인식함에 있어서, 영상 혹은 이미지에서 조명, 자세, 개인외모 등에 따른 추출하고자 하는 특징정보와 관련성이 낮은 정보의 영향을 최소화할 수 있는, 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법 및 컴퓨터 판독가능매체를 제공하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 영상의 이미지프레임으로부터 추출된 특징정보에서 추출하고자 하는 특징정보와 관련이 있는 관련성특징정보와 추출하고자 하는 특징정보와 관련이 낮은 비관련성특징정보로 분할하여 변형된 LSTM을 통하여 특징정보를 도출함으로써, 조명, 자세, 개인외모 등에 따른 추출하고자 하는 특징정보와 관련성이 낮은 정보(mode of variation)의 영향을 최소화할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 조명, 자세, 개인외모 등에 따른 영향을 최소화하기 위한 기준프레임의 선정 등의 과정이 없이, 조명, 자세, 개인외모 등에 따른 영향을 최소화할 수 있다.
본 발명의 일 실시예에 따르면, 비교적 작은 파라미터로 조명, 자세, 개인외모 등에 따른 영향을 최소화하면서, 특징정보를 추출할 수 있는 효과를 발휘할 수 이다.
본 발명의 일 실시예에 따르면, 표정인식, 감정인식, 행동인식 등의 다양한 특징정보를 추출할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 추출하고자 하는 특징정보와 관련이 낮은 비관련성특징정보까지 인공신경망 모델에서 활용함으로써, 이들에 의한 오류를 최소화할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 일반 사용자가 자신의 사용자단말기를 통하여 자신의 면접영상에 대한 객관적인 평가를 받을 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 사용자가 전체적인 자신의 면접 평가뿐만 아니라 시간 혹은 프레임별 면접 평가를 제공받을 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 사용자가 보다 직관적이고 분석적인 형태로 자신의 면접영상에 대한 평가정보를 제공받을 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 사용자는 기계학습모델에 의한 면접평가결과를 제공받을 수 있을 뿐만 아니라 전문가가 직접 수행한 면접평가결과를 제공받을 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 전문가가 사용자에게 수행한 면접평가결과를 자동평가를 수행하는 기계학습모델의 학습의 용도로 이용할 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 특징정보도출시스템의 전체적인 구조를 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 특징정보도출시스템의 내부 구성을 개략적으로 도시한다.
도 3는 본 발명의 일 실시예에 따른 인코딩정보도출부 및 복수의 LSTM모듈의 동작을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 LSTM모듈의 내부 동작을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 인코딩정보분리모듈의 수행단계들을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 아웃풋정보도출모듈의 수행단계들을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 LSTM의 세부동작을 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 특징정보도출부를 이용한 면접준비서비스를 제공하는 서비스서버의 내부 구성을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 특징정보도출부를 이용한 면접준비서비스를 제공하는 서비스서버에서 출력되는 화면의 일 예를 도시한다.
도 10은 본 발명의 일 실시예에 따른 특징정보도출부를 이용한 면접준비서비스를 제공하는 서비스서버에서 출력되는 화면의 일 예를 도시한다.
도 11은 본 발명의 일 실시예에 따른 특징정보도출부를 이용한 면접준비서비스를 제공하는 서비스서버에서 출력되는 화면의 일 예를 도시한다.
도 12는 본 발명의 일 실시예에 다른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 특징정보도출시스템(100)의 전체적인 구조를 개략적으로 도시한다.
본 발명의 일 실시예에 따르면, 도 1에 도시된 바와 같이 상기 특징정보도출시스템(100)은 특징정보를 도출하고자 하는 영상정보를 기초로 상기 특징정보를 도출할 수 있다.
여기서, 특징정보는 표정, 행동, 감정, 업무성과 예상치, 성격특성 등에 해당할 수 있다.
구체적으로, 상기 영상정보는 복수의 프레임을 갖는 이미지를 포함하는 데이터의 집합에 해당할 수 있다. 일 예로는 상기 영상정보는 동영상에 포함된 복수의 프레임 정보 혹은 각각의 프레임에서의 이미지에 해당할 수 있다.
한편, 상기 영상정보의 각각의 프레임 정보는 이미지 데이터 뿐만 아니라, 해당 프레임과 관련된 부가적인 데이터(예를 들어 음성정보 자체 혹은 음성정보에 대한 특징값(예를 들어, 높이, MFCC 값등))가 추가된 형태에 해당할 수 있다.
이와 같이 상기 영상정보는 복수의 이미지 프레임을 포함하는 데이터를 지칭하는 최광의로 해석되어야 할 것이다. 예를 들어, 이와 같은 영상정보는 이미지 단독 혹은 이미지 및 사운드를 포함하는 영상정보일 수 있다.
상기 특징정보도출시스템(100)은 이와 같은 영상정보를 기초로 상기 대상에 대한 특징정보를 도출할 수 있다.
이와 같은 대상에 대한 특징정보는 결과적인 특징정보를 추출할 수 있는 데이터셋, 예를 들어 벡터형태의 데이터셋, 혹은 기설정된 복수개의 클래스(class) 중 1 이상으로 분류한 결과를 포함할 수 있다.
본 발명의 다른 실시예에서는 여기서 상기 특징정보를 추출할 수 있는 데이터셋에 대하여 추가적인 오차보상 알고리즘이 적용될 수 있다. 즉, 상기 특징정보는 특징정보결과 자체 혹은 결과적인 특징정보(예를 들어, 감정정보) 를 도출하기 위한 중간결과물을 포함하는 개념으로 해석되어야 할 것이다.
예를 들어, 본 발명의 일 실시예에 따르면, 이와 같은 기설정된 복수개의 클래스(class)는 화남, 불쾌, 두려움, 행복, 슬픔, 놀람 중 1 이상을 포함할 수 있다.
다만, 이와 같은 대상에 대한 특징정보는, 단순히 상기 기설정된 복수개의 클래스(class)뿐만 아니라, 상기 기설정된 복수개의 클래스에 포함되는 1 이상의 특징정보 각각에 대한 강도(intensity)를 포함할 수도 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 상기 특징정보는 대상의 영상정보로부터 추출되는 상기 기설정된 복수개의 클래스 중 하나가 행복인 경우에, 이에 대한 강도를 포함할 수 있다.
이를 위하여, 후술하는 바와 같이 상기 영상정보를 기초로 상기 특징정보를 도출하기 위한 다양한 형태의 기계학습 모델을 학습하는데 있어서, 대상의 특징정보에 대해 레이블(lable)된 이미지, 혹은 프레임을 포함하는 영상정보를 기준으로 학습을 진행한다.
본 발명에서는 상기 특징정보도출시스템(100)을 변형된 LSTM 기반 기계학습 모델을 이용하여 종래 기술과 다른 방식으로 구현됨으로써, 종래 기술에 비하여 더 정확하게 상기 대상에 대한 특징정보를 도출할 수 있다.
구체적으로, 본 발명의 특징정보도출시스템(100)은 특수한 알고리즘을 통하여, 영상 혹은 이미지에서 조명, 자세, 대상의 개인외모(예를 들어, 인종, 얼굴길이, 얼굴형태, 기본표정) 등의 추출하고자 하는 특징정보와 관련성이 낮은 정보에 따른 오판단을 최소화시킬 수 있다.
예를 들어, 특정 개인의 경우 기본적으로 웃는 얼굴상을 가지고 있는 경우에, 이에 대한 감정 판단을 하는 경우 특정 개인이 가지고 있는 개인외모에 의하여 이의 감정 판단에 오류가 발생할 수 있고, 후술하는 본 발명의 알고리즘은 이에 대한 오류를 최소화하는 방안을 제안한다.
즉, 본 발명의 실시예들에서는 상기 대상의 외형 등의 고유특성 혹은 환경 등의 외부 특성을 보상하여 특징정보를 도출함으로써, 보다 정확한 특징정보의 인식을 수행할 수 있다.
여기서 외형(appearance)에 대한 정보는 인종, 성별, 나이, 얼굴색깔, 얼굴형, 감정세기, 중립 표정 등을 포함할 수 있고, 환경 정보는 광량, 이미지 관련 정보, 포즈 등을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 감정인식시스템의 내부구성을 개략적으로 도시한다.
상기 실시예에 따른 감정인식시스템은 1 이상의 프로세서 및 1 이상의 메모리를 컴퓨팅 장치에 의하여 구현될 수 있다.
이와 같은 컴퓨팅장치는 프로세서(A), 버스(프로세서, 메모리, 네트워크 인터페이스 사이의 양방향 화살표에 해당), 네트워크 인터페이스(B) 및 메모리(C)를 포함할 수 있다. 메모리(C)에는 OS(운영체제), 본 발명을 구현하는 데 필요한 프로그램실행코드, 및 본 발명의 추론 혹은 예측을 하는 모듈에서 이용되는 인공신경망데이터가 저장되어 있을 수 있다. 혹은 상기 인공신경망데이터는 딥러닝이 진행된 모델링 정보 자체를 의미할 수도 있다. 프로세서(A)에서는 특징정보도출부(110), 및 특징정보출력부(120)이 실행될 수 있다. 다른 실시예들에서 특징정보도출시스템(100)은 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다.
메모리는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(B)를 통해 메모리에 로딩될 수도 있다.
버스는 컴퓨팅 장치의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(B)는 특징정보도출시스템(100)을 구현하는 컴퓨팅장치를 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성 요소일 수 있다. 네트워크 인터페이스(B)는 감정인식시스템을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
프로세서(A)는 기본적인 산술, 로직, 특징정보도출시스템(100)을 구현하는 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(C) 또는 네트워크 인터페이스(B)에 의해, 그리고 버스를 통해 프로세서로 제공될 수 있다. 프로세서는 특징정보도출부(110), 및 특징정보추출부(120)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리와 같은 기록 장치에 저장될 수 있다.
상기한 프로세서는 개별 방식에 따라 일부 컴포넌트가 생략되거나, 도시되지 않은 추가의 컴포넌트가 더 포함되거나, 2개 이상의 컴포넌트가 결합될 수 있다.
한편, 이와 같은 상기 컴퓨팅 장치는 바람직하게는 개인용 컴퓨터 혹은 서버에 해당하고, 경우에 따라서는 스마트 폰(smart phone)과, 태블릿(tablet)과, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 ‘PDA’라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 ‘PMP’라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 ‘HMD’라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등에 해당할 수 있다.
도 3는 본 발명의 일 실시예에 따른 인코딩정보도출부(111) 및 복수의 LSTM모듈(112)의 동작을 개략적으로 도시한다.
인코딩정보도출부(111)는 입력된 각각의 프레임에 대한 인코딩정보(xt)를 도출한다. 이와 같은 인코딩정보도출부(111)는 컨볼루션신경망모델(CNN), 캡슐네트워크(CapsNet) 등의 인공신경망 모델, 및 규칙-기반 특징정보 추출모델 중 1 이상을 포함하는 형태로 구현될 수 있다.
바람직하게는, 이와 같은 인코딩정보도출부(111)에는 시간순서 별로 복수의 프레임이 입력된다. 복수의 프레임은 예를 들어 동영상에서의 각각의 프레임에서의 이미지에 해당할 수도 있고, 전술한 바와 같이 이미지에 음성 관련데이터 등의 추가적인 데이터가 결합된 형태일 수도 있다.
이후, 상기 인코딩정보도출부(111)는 입력된 각각의 프레임에 대하여, 각각의 인코딩정보(xt)를 도출한다. 본 발명의 일 실시예에서는, 이와 같은 인코딩정보(xt)는 벡터열의 형태의 데이터에 해당할 수도 있다.
이후, 각각의 프레임의 인코딩정보(xt)는 각각의 LSTM모듈(112)에 입력된다. 구체적으로, 본 발명의 일 실시예에 따른 복수의 프레임으로부터 특징정보를 도출하는 방법에서는, 복수의 변형된 LSTM모듈(112) 각각에는 프레임의 시퀀스에 따라, 해당 시퀀스의 프레임의 인코딩된 특징정보를 포함하는 인코딩정보(xt), 이전 시퀀스의 LSTM모듈(112)에서 출력되는 잠재적특징정보(ht-1), 이전 시퀀스의 LSTM모듈(112)에서 출력되는 셀상태정보(ct-1)를 포함하는 정보가 입력된다.
다만, 본 발명의 LSTM모듈(112)에서는 학습된 제2가중치정보, 현재 시퀀스의 상기 관련성특징정보(x1t), 현재 시퀀스의 상기 비관련성특징정보(x2- t), 이전 시퀀스의 상기 잠재적특징정보(ht-1), 이전 시퀀스의 상기 셀상태정보(ct-1)를 포함하는 정보에 기초하여, 포겟게이트, 인풋게이트, 아웃풋게이트를 이용하여, 해당 시퀀스의 프레임의 추론아웃풋정보(ot)를 출력한다는 점에서 공지의 LSTM모듈(112)과 차이가 있다.
또한, 본 발명의 LSTM모듈(112)에서는 이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함하고, 이와 같은 2 종류의 잠재적특징정보가 LSTM모듈(112)에서 사용된다는 점에서 공지의 LSTM모듈(112)과 차이가 있다.
또한, 본 발명의 LSTM모듈(112)에서는, 이전 시퀀스의 상기 관련성특징정보(x1t-1), 관련성잠재적특징정보(h1t-1), 및 학습된 가중치를 포함하는 정보에 기초하여 관련성셀상태정보(c1t)를 도출하고, 이전 시퀀스의 상기 비관련성특징정보(x2t-1), 비관련성잠재적특징정보(h2t-1), 및 학습된 가중치를 포함하는 정보에 기초하여 비관련성셀상태정보(c2t)를 도출하고, 셀상태정보(ct-1)는 관련성셀상태정보(c1t) 및 비관련성셀상태정보(c2t)를 포함한다는 점에서 공지의 LSTM모듈(112)과 차이가 있다.
이와 같은 구성은 본 발명에서는 영상 혹은 이미지에서 조명, 자세, 개인외모 등에 따른 추출하고자 하는 특징정보와 관련성이 낮은 정보, 혹은 이미지에 반영된 외모 혹은 환경의 정보를 학습된 가중치에 의하여 별도의 인코딩정보(비관련성특징정보)로 분리하고, 이에 대한 별도의 처리를 수행하기 위함이고, 이를 통하여, 시간의 흐름에 따라 연속적으로 입력되는 이미지로부터 사용자의 감정, 표정, 행동 등의 특징정보를 인식함에 있어서, 영상 혹은 이미지에서 조명, 자세, 개인외모 등에 따른 추출하고자 하는 특징정보와 관련성이 낮은 정보의 영향을 최소화할 수 있다.
이와 같은 각각의 LSTM모듈(112)에서는 각각의 프레임에 대한 추론아웃풋정보(ot)를 출력한다. 이와 같은 추론아웃풋정보(ot)는 벡터열 형태의 데이터에 해당할 수 있다.
이후, 상기 특징정보출력부(120)는 추론아웃풋정보(ot)들로부터 1 이상의 특징정보를 출력한다. 본 발명의 일 실시예에서는 특징정보출력부(120)는 상기 추론아웃풋정보(ot)의 해석, 혹은 변형값 도출의 역할을 수행한다. 본 발명의 일 실시예에서는 특징정보출력부(120)는 추론아웃풋정보(ot)의 해석된 데이터의 GUI 등의 출력형태 데이터를 출력할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 LSTM모듈(112)의 내부 동작을 개략적으로 도시하고, 도 5는 본 발명의 일 실시예에 따른 인코딩정보분리모듈의 수행단계들을 개략적으로 도시한다. 도 6은 본 발명의 일 실시예에 따른 아웃풋정보도출모듈의 수행단계들을 개략적으로 도시하고, 도 7은 본 발명의 일 실시예에 따른 LSTM의 세부동작을 개략적으로 도시한다.
이하에서는 도 4 내지 7을 참조하여, 본 발명의 일 실시예에 따른 LSTM모듈(112)의 동작에 대해서 설명하도록 한다.
전술한 바와 같이, 본 발명의 상기 LSTM모듈(112)은 공지된 LSTM모듈(112)과 다른 구조를 가진다.
구체적으로, 복수의 변형된 LSTM모듈(112) 각각에서는, 학습된 제1가중치정보에 기초하여, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 있는 관련성특징정보(x1t)를 도출하고, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 상기 관련성특징정보에 비해 상대적으로 낮은 비관련성특징정보(x2- t)를 도출하는 인코딩정보분리단계; ALC 학습된 제2가중치정보, 현재 시퀀스의 상기 관련성특징정보(x1t), 현재 시퀀스의 상기 비관련성특징정보(x2- t), 이전 시퀀스의 상기 잠재적특징정보(ht-1), 이전 시퀀스의 상기 셀상태정보(ct-1)를 포함하는 정보에 기초하여, 포겟게이트, 인풋게이트, 아웃풋게이트를 이용하여, 해당 시퀀스의 프레임의 추론아웃풋정보(ot)를 출력하는 아웃풋정보도출단계;가 수행된다.
상기 인코딩정보분리단계는 도 4의 인코딩정보분리모듈(112.1)에서 수행될 수 있고, 상기 아웃풋정보도출단계(112.2)는 도 4의 아웃풋정보도출모듈에서 수행될 수 있다.
구체적으로, 상기 인코딩정보분리단계에서는,
도 5의 S10에서와 같이 학습된 제1가중치, 현재 시퀀스의 인코딩정보(xt), 및 상기 이전잠재적특징정보(ht-1)에 포함된 정보에 기초하여, 상기 인코딩정보(xt)의 각각의 정보에서 도출하고자 하는 특징정보의 추출과 관련되는 어텐션파라미터(at)를 도출하는 단계가 수행된다.
이와 같은 과정을 구현한 일 실시예를 식으로 표현하면 다음과 같다.
at=б(Wxaxt+Whah1t-1+ba) (식 1)
여기서, б는 sigmoid 함수에 해당하고, Wxa, Wha, ba 는 어텐션파라미터(at)를 추출하기 위한 학습된 가중치에 해당한다. 본 발명의 일 실시예에서는, 상기 x, W 는 백터열의 형태를 가질 수 있다.
단계 S11에서는 상기 어텐션파라미터(at)와 상기 인코딩정보(xt)에 기초하여 관련성특징정보(x1t)를 도출하는 단계가 수행된다.
어텐션파라미터(at)는 해당 LSTM모델에서 추출하고자 하는 특징정보와 관련된 정보만을 인코딩정보(xt)로부터 추출하기 위한 파라미터에 해당한다. 이와 같은 어텐션파라미터(at)를 도출하기 위한 제1가중치(예를 들어 식 (1)에서의 Wxa, Wha, ba 등)은 학습에 의하여 도출될 수 있다.
이와 같은 어텐션파라미터(at)는 여러 형태를 가질 수 있다. 본 발명의 일 실시예에서는 상기 어텐션파라미터(at)는 상기 현재 시퀀스의 인코딩정보(xt)에 요소별 연산(element-wise product)이 가능한 형태이다. 이와 같은 과정을 구현한 일 실시예를 식으로 표현하면 다음과 같다.
x1t=at⊙xt (식 2)
단계 S12에서는 상기 어텐션파라미터(at)의 변형값과 상기 인코딩정보(xt)를 요소별 연산을 통하여, 비관련성특징정보(x2t)를 도출하는 단계;가 수행된다.
상기 어텐션파라미터(at)의 변형값은 어텐션파라미터(at)의 각각의 열의 값이 커질수록 상응하는 상기 어텐션파리미터(at)의 변형값의 각각의 열의 값은 작아지는 형태가 바람직하다.
본 발명의 일 실시예에서는, 상기 어텐션파라미터(at)의 변형값은 (1-at)의 형태가 될 수 있다.
이와 같은 과정을 구현한 일 실시예를 식으로 표현하면 다음과 같다.
x2t=(1-at)⊙xt (식 3)
현재 시퀀스의 프레임(t번째 프레임)의 인코딩정보(xt)가 입력되는 LSTM모듈(112)에는 이전 시퀀스의 프레임(t-1번째 프레임)의 인코딩정보(xt-1)가 입력되는 LSTM모듈(112)에서 산출된 잠재적특징정보(ht-1)가 입력된다.
본 발명의 일 실시예에서는, 도 4 및 도 7에 도시된 바와 같이 현재 시퀀스(t번째 프레임)의 LSTM모듈(112)에 입력되는 이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함한다.
상기 관련성잠재적특징정보는 비관련성잠재적특징정보보다 도출하고자 하는 특징정보와 관련된 정보를 가지고 있고, 본 발명에서는 이를 이용하여 특징정보를 도출함으로써, 영상 혹은 이미지에서 조명, 자세, 개인외모 등에 따른 추출하고자 하는 특징정보와 관련성이 낮은 정보의 영향을 최소화할 수 있다.
즉, 이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1)를 포함하고, 상기 어텐션파라미터(at)는 학습된 제1가중치, 현재 시퀀스의 인코딩정보(xt), 및 이전 시퀀스의 상기 관련성잠재적특징정보(h1t-1)에 기초하여 도출된다.
이와 같은 과정을 구현한 일 실시예를 식으로 표현하면 다음과 같다.
at=б(Wxaxt+Whah1t-1+ba) (식 1)
한편, 상기 인코딩정보분리단계에서는,
도 5의 S10에서와 같이 학습된 제1가중치, 현재 시퀀스의 인코딩정보(xt), 및 상기 이전잠재적특징정보(ht-1)에 포함된 정보에 기초하여, 상기 인코딩정보(xt)의 각각의 정보에서 도출하고자 하는 특징정보의 추출과 관련되는 어텐션파라미터(at)를 도출하는 단계가 수행된다.
전술한 바와 같이, 이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함한다.
이후, 상기 아웃풋정보도출단계는, 이전 시퀀스의 상기 관련성특징정보(x1t-1), 관련성잠재적특징정보(h1t-1), 및 학습된 가중치를 포함하는 정보에 기초하여 관련성셀상태정보(c1t)를 도출하고, 이전 시퀀스의 상기 비관련성특징정보(x2t-1), 비관련성잠재적특징정보(h2t-1), 및 학습된 가중치를 포함하는 정보에 기초하여 비관련성셀상태정보(c2t)를 도출하는 단계를 포함한다.
즉, 상기 인코딩정보분리단계에서는 학습된 제1가중치, 및 입력된 정보에 기초하여 인코딩정보(xt)로부터 관련성특징정보(x1t) 및 비관련성특징정보(x2t)를 도출하고, 상기 아웃풋정보도출단계에서는 관련성특징정보(x1t) 및 비관련성특징정보(x2t) 각각에 대한 실질적으로 2개의 LSTM모델이 동작하면서, 관련성특징정보(x1t) 및 비관련성특징정보(x2t)에 각각에 대한 셀상태정보, 인풋게이트값, 포겟게이트값, 잠재적특정정보를 도출한다.
즉, 이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함하고,
이전 시퀀스의 상기 셀상태정보(ct-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성셀상태정보(c1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성셀상태정보 (c2t-1)을 포함할 수 있다.
또한, 상기 아웃풋정보도출단계에서는,학습된 가중치, 현재 시퀀스의 상기 관련성특징정보(x1t)를 포함하는 정보에 기초하여 관련성인풋게이트값(i1t), 관련성포겟게이트값(f1t)를 도출하고, 학습된 가중치, 현재 시퀀스의 상기 비관련성특징정보(x2t)를 포함하는 정보에 기초하여 비관련성인풋게이트값(i2t), 비관련성포겟게이트값(f2t)을 도출한다.
이후, 본 발명의 일 실시예에서는, 도출된 상기 정보에 기초하여, 조명, 자세, 개인외모 등에 따른 추출하고자 하는 특징정보와 관련성이 낮은 정보의 영향을 최소화할 수 있는 형태의 추론아웃풋정보(ot)를 도출할 수 있다.
또한, 상기 관련성인풋게이트값(i1t), 비관련성인풋게이트값(i2t), 관련성포겟게이트값(f1t), 및 비관련성포겟게이트값(f2t)는 상기 추론아웃풋정보(ot)를 도출하는 데 사용될 수 있다.
본 발명의 일 실시예에 따라, 각각의 LSTM에서 인풋게이트값, 포겟게이트값, 셀상태값, 잠재적특징정보를 도출하는 과정을 식으로 표현하면 다음과 같다.
i1t= б(Wxix1t+Whih1t-1+ Wcic1t-1+bi)
f1t= б(Wxfx1t+Whfh1t-1+ Wcfc1t-1+bf)
c1t= f1tc1t-1+i1t tanh(Wxcx1t+Whch1t-1+bc)
h1t=ot tanh(c1t) (식 4)
i2t= б(Wxi*x2t+Whi*h2t-1+ Wci*c2t-1+bi*)
f2t= б(Wxf*x2t+Whf*h2t-1+ Wcf*c2t-1+bf*)
c2t= f2tc2t-1+i2t tanh(Wxc*x1t+Whc*h1t-1+bc*)
h2t=ot tanh(c2t) (식 5)
(tanh 는 Hyperbolic Tangent 를 의미한다)
식 4에서, Wxi, Whi, Wci, bi 는 관련성인풋게이트값을 도출하기 위한 학습된 가중치에 해당하고, Wxf, Whf, Wcf, bf 는 관련성포겟게이트값을 도출하기 위한 학습된 가중치에 해당하고, Wxc, Whc, bc 는 관련성셀상태값을 도출하기 위한 학습된 가중치에 해당할 수 있다. 이와 같은 가중치는 벡터열 형태의 데이터로 구현될 수 있다.
식 5에서, Wxi*, Whi*, Wci*, bi* 는 비관련성인풋게이트값을 도출하기 위한 학습된 가중치에 해당하고, Wxf*, Whf*, Wcf*, bf* 는 비관련성포겟게이트값을 도출하기 위한 학습된 가중치에 해당하고, Wxc*, Whc*, bc* 는 비관련성셀상태값을 도출하기 위한 학습된 가중치에 해당할 수 있다. 이와 같은 가중치는 벡터열 형태의 데이터로 구현될 수 있다.
본 발명의 일 실시예에서는 상기 관련성인풋게이트값(i1t)를 도출하는 데 사용되는 학습된 가중치는 상기 비관련성인풋게이트값(i2t)를 도출하는 데 사용되는 학습된 가중치와 동일할 수 있다. 이 경우, Wxi, Whi, Wci, bi 각각은 Wxi*, Whi*, Wci*, bi* 동일하다. 가중치를 도출하기 위한 학습도 동일한 상태에서 진행을 함이 바람직하다 (실시예 1).
본 발명의 일 실시예에서는 상기 관련성포겟게이트값(f1t)를 도출하는 데 사용되는 학습된 가중치는 상기 비관련성포겟게이트값(f2t)를 도출하는 데 사용되는 학습된 가중치와 동일할 수 있다. 이 경우, Wxf, Whf, Wcf, bf 각각은 Wxf*, Whf*, Wcf*, bf* 동일하다. 가중치를 도출하기 위한 학습도 동일한 상태에서 진행을 함이 바람직하다 (실시예 2).
본 발명의 일 실시예에서는 상기 관련성셀상태값(c1t)를 도출하는 데 사용되는 학습된 가중치는 상기 비관련성셀상태값(c2t)를 도출하는 데 사용되는 학습된 가중치와 동일할 수 있다. 이 경우, Wxc, Whc, bc 각각은 Wxc*, Whc*, bc* 와 동일하다. 가중치를 도출하기 위한 학습도 동일한 상태에서 진행을 함이 바람직하다 (실시예 3).
본 발명의 다른 실시예에서는 상기 실시예 1 내지 3 중 1 이상을 적용시키는 형태로도 구현될 수 있다. 가장 바람직하게는, 실시예 1 및 실시예 2를 적용시키는 형태로 구현된다. 즉, 본 발명의 바람직한 실시예에서는, 상기 관련성인풋게이트값(i1t)를 도출하는 데 사용되는 학습된 가중치는 상기 비관련성인풋게이트값(i2t)를 도출하는 데 사용되는 학습된 가중치와 동일하고, 본 발명의 일 실시예에서는 상기 관련성포겟게이트값(f1t)를 도출하는 데 사용되는 학습된 가중치는 상기 비관련성포겟게이트값(f2t)를 도출하는 데 사용되는 학습된 가중치와 동일할 수 있다. 이 경우 가장 효율적이고 일관성있게 영상 혹은 이미지에서 조명, 자세, 개인외모 등에 따른 추출하고자 하는 특징정보와 관련성이 낮은 정보의 영향을 최소화할 수 있고, 이를 통하여 특징정보 추출의 정확도를 최대화할 수 있다.
추론아웃풋정보(ot)는 상기 과정에서 도출된 정보에 기초하여 도출될 수 있다.
본 발명의 일 실시예에서는, 상기 아웃풋정보도출단계에서 도출되는 상기 추론아웃풋정보(ot)는, 현재 시퀀스의 상기 관련성특징정보(x1t); 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1); 및 현재 시퀀스의 상기 관련성특징정보(x1t)를 포함하는 정보에 기초하여 도출되는 현재 시퀀스의 관련성셀상태정보(c1t)와는 양(positive) 관계를 갖는 형태로 도출될 수 있다. 마찬가지로, 추론아웃풋정보에도 학습된 가중치가 사용된다.
이와 같은 과정을 구현하는 경우, ot는 Wxox1t+Wh1oh1t-1+Wc1oc1t 의term을 포함하는 것이 바람직하다. 이와 같은 과정을 구현한 일 실시예를 식으로 표현하면 다음과 같다.
ot= б(Wxox1t+Wh1oh1t-1+ Wc1oc1t+bo-) (식 6)
Wxo,Wh1o, Wc1o, bo 는 추론아웃풋정보를 도출하기 위한 학습된 가중치에 해당한다.
-
식 6으로 추론아웃풋정보(ot)를 도출한다면, 전술한 비관련성특징정보(x2t)과 관련된 포겟게이트값 등의 연산은 생략될 수도 있다.
한편 본 발명의 바람직한 실시예에서는, 상기 식 6에서 추가적인 term을 가질 수 있고, 이와 같은 과정을 구현한 일 실시예를 식으로 표현하면 다음과 같다.
ot= б(Wxox1t+Wh1oh1t-1+ Wc1oc1t+bo- +추가term) (식 7)
바람직하게는, 상기 추가term은 비관련성특징정보(x2t)에 의한 영향을 보상하는 형태가 바람직하다. 따라서, 본 발명의 일 실시예에서는, 상기 아웃풋정보도출단계에서 도출되는 상기 추론아웃풋정보(ot)는, 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1); 및 현재 시퀀스의 상기 비관련성특징정보(x2t)를 포함하는 정보에 기초하여 도출되는 현재 시퀀스의 비관련성셀상태정보(c2t)와는 음(negative) 관계를 갖는다.
이를 적용한 일 실시예에 따르면, 상기 추론아웃풋정보(ot)는 하기와 같은 식으로 표현될 수 있다.
= б(Wxox1t+Wh1oh1t-1+ Wc1oc1t-Wh2oh2t-1-Wc2oc2t+bo)
Wxo,Wh1o, Wc1o, bo, Wh2o, Wc2o 는 추론아웃풋정보를 도출하기 위한 학습된 가중치에 해당한다.
도 8은 본 발명의 일 실시예에 따른 특징정보도출부를 이용한 면접준비서비스를 제공하는 서비스서버의 내부 구성을 개략적으로 도시한다.
도 1 내지 도 7을 참조하여 설명한 특징정보도출시스템에서의 특징정보도출부(110) 및/또는 특징정보출력부(120)는 다양한 형태의 서비스에 적용될 수 있다. 예를 들어, 기업측에서 입사희망자의 동영상 면접영상에 대한 자동평가 등이 있을 수 있고, 이하에서는, 입사희망자인 사용자의 관점에서 자신의 면접영상에 대하여 자동평가정보를 제공하는 면접준비서비스를 제공하는 서비스서버에서 상기 특징정보도출시스템에서의 특징정보도출부 및/또는 특징정보출력부를 이용하는 형태의 실시예에 대해 설명하도록 한다.
본 발명의 서비스서버(1000)는 기계학습을 이용한 면접준비 서비스를 제공할 수 있다. 개략적으로, 상기 회원단말기로부터 면접영상을 수신하고, 이에 대한 평가정보를 제공함으로 상기 회원단말기의 사용자는 자신의 면접영상에 대한 피드백을 제공받을 수 있다.
상기 서비스서버는 질문세트설정부(1100), 면접영상저장부(1200), 면접영상평가부(1300), 평가결과제공부(1400), 코치서비스부(1500), 및 DB(1600)를 포함할 수 있다.
질문세트설정부(1100)는 사용자의 입력에 따라서 질문세트를 구성한다.
바람직하게는, 사용자가 지원하고자 하는 기관에 대한 정보를 단계적으로 입력하고, 상기 서비스서버(1000)는 해당 기관에 대한 정보에 상응하는 질문(기업 혹은 기업 종류의 면접에서 출제되거나 혹은 출제될 수 있는 질문)들을 사용자에게 제공한다. 바람직하게는, 상기 질문세트설정부(1100)는 사용자에게 기관의 종류(예를 들어, 기업, 공공기관 등), 기업의 명칭(예를 들어, 삼성전자, 한국은행), 직군(예를 들어, 소프트웨어직, 관리직)을 단계적으로 입력할 수 있는 인터페이스를 제공한다.
상기 서비스서버(1000)는 각각의 기업, 직군 등의 지원정보에 상응하는 질문들에 대한 정보를 저장하고 있고, 사용자의 입력에 따라 상응하는 질문 리스트를 제공한다.
이후, 사용자는 전체 질문세트 중 자신이 테스트하고자 하는 질문들을 선택함으로써, 질문세트를 생성할 수 있다.
이후, 후술하는 면접영상저장부(1200)에는 질문세트의 질문을 순차적으로 혹은 무작위로 추출하여 이를 회원단말기에 전송하고, 회원단말기에서 사용자는 해당 질문을 파악한 후에, 이에 대한 응답영상을 회원단말기로 기록하여, 서비스서버(1000)로 전송한다.
한편, 질문세트는 위와 같은 방식이 아닌, 대부분의 기업에서 물어볼 수 있는 공통질문세트가 초기에 주어지거나, 사용자의 세부 입력 없이 서비스서버(1000)에 저장된 질문 중 무작위로 질문을 추출하여 질문세트를 구성하여 제공될 수도 있다. 혹은 사용자가 질문세트에 대한 설정을 하지 않고, 바로 면접영상저장부(1200)에 의한 기능을 실행시키는 경우에, 기설정된 규칙에 따른 질문세트를 생성하거나 혹은 기설정된 규칙에 따른 질문을 제시한다.
면접영상저장부(1200)는 기설정된 질문세트 중 1 이상의 질문정보를 사용자단말기에 송신하고, 상기 사용자단말기로부터 상기 질문정보에 응답을 수행한 면접영상을 수신하여 저장한다.
상기 질문정보는 질문텍스트, 질문음성, 및 질문영상 중 1 이상의 형태로 구현될 수 있다.
구체적으로, 상기 면접영상저장부(1200)는 사용자단말기에서는 질문정보에 따른 질문이 단말기에서 표시 혹은 재생이 되는 인터페이스를 제공하고, 사용자단말기에 구비된 카메라 및 마이크에 의하여 촬영된 면접영상을 사용자단말기로부터 수신하여, 해당 면접영상에 대한 식별자와 함께 DB(1600)에 저장한다.
상기 면접영상평가부(1300)는 기계학습을 이용한 평가모델을 통하여 상기 면접영상에 대한 자동평가정보를 생성한다.
즉, 서비스서버(1000)는 상기 면접영상을 수신한 후에, 평가모델을 이용하여 자동적으로 평가를 수행하고, 이를 통하여 자동평가정보를 생성한다. 자동평가정보는 호감도, 집중도, 신뢰감, 활기참, 침착성, 소통능력, 눈마주침, 친절함, 습관의 사용여부, 및 유쾌함 중 1 이상을 포함하는 면접과 관련된 종합평가 요소; 및 개방성, 성실성, 외향성, 친화성, 및 신경성 중 1 이상을 포함하는 성격특징; 시선처리, 머리움직임, 음성높낮이, 음성높낮이, 음성크기, 및 감정 중 1 이상의 태도특징에 대한 정량적 정보 중 1 이상을 포함할 수 있다.
바람직하게는, 상기 평가모델은 1 이상의 딥러닝 기반의 학습된 인공신경망 모듈을 포함한다. 상기 평가모델은 학습된 인공신경망 모듈뿐만 아니라 기설정된 규칙에 기반한 평가모듈을 복합적으로 이용하는 형태에 해당할 수 있다
이와 같은 상기 면접영상평가부(1300)는 전술한 도 2의 특징정보도출부(110) 혹은 특징정보도출부(110) 및 특징정보출력부(120)을 포함할 수 있다.
상기 평가결과제공부(1400)는 상기 자동평가정보에 기초하여 사용자단말기에 자동평가결과를 제공한다. 구체적으로, 상기 평가결과제공부(1400)는 자동평가정보 혹은 상기 자동평가정보가 가공된 형태의 데이터(자동평가정보가 반영된 인터페이스 구현과 관련된 데이터)를 상기 회원단말기에 전송하고, 회원단말기의 웹브라우져 및 전용애플리케이션에서는 사용자의 선택에 따라 다양한 평가정보가 디스플레이된다.
바람직하게는, 상기 평가결과제공부(1400)는 호감도, 집중도, 신뢰감, 활기참, 침착성, 소통능력, 눈마주침, 친절함, 습관의 사용여부, 및 유쾌함 중 1 이상을 포함하는 면접과 관련된 종합평가 요소를 제공하는 종합평가제공부(1410); 개방성, 성실성, 외향성, 친화성, 및 신경성 중 1 이상을 포함하는 성격특징 요소를 제공하는 성격특성제공부(1420); 및 시선처리, 머리움직임, 음성높낮이, 음성높낮이, 음성크기, 및 감정 중 1 이상의 태도특징 등의 요소를 면접영상의 부분단위 별로 제공하는 프레임별분석제공부(1430)를 포함한다.
상기 프레임별분석제공부(1430)는 면접영상의 부분단위, 예를 들어 프레임, 프레임구간, 시간, 시간구간별에 따른 특성 평가 정보를 제공할 수 있다. '프레임별분석제공부'의 용어에서 프레임은 단일 프레임을 지칭하는 것이 아니라 면접영상의 부분단위임을 지칭하는 것으로 이해되어야 할 것이다.
본 발명의 기본적인 동작은 회원단말기로부터 수신한 면접영상에 대한 자동적 평가서비스를 제공하는 것이다. 다만, 본 발명에서는 회원의 추가적인 요청 및/또는 비용결제에 따라서 면접관 역할을 하는 사람(이하에서는 '코치사용자''라고 한다)에 의한 피드백을 수신할 수 있고, 이와 관련된 기능을 코치서비스부(1500)가 수행한다.
이와 같은 코치서비스부(1500)는 코치매칭부(1510); 코치피드백부(1520); 및 평가모델학습부(1530)를 포함한다.
상기 코치매칭부(1510)는 회원의 면접영상을 평가하는 코치에 대한 매칭을 수행한다. 코칭매칭부의 동작은 다양한 방법에 의하여 수행될 수 있다. 예를 들어, 코치에 대한 매칭은 회원에게 코치정보를 제공하고, 회원이 이에 대한 선택을 함으로써 매칭이 수행되거나, 혹은 회원이 입력한 정보에 적합한 코치를 자동적으로 매칭하거나 혹은 적합한 코치목록을 회원에게 제공하고 회원이 이에 대한 선택입력을 수행함으로써 수행될 수 있다
한편, 코치피드백부(1520)는 상기 면접영상을 포함한 코칭데이터를 코치단말기에 송신하고, 코치단말기로부터 수신한 코치평가정보에 기초하여 사용자단말기에 코치평가결과를 제공한다.
코치피드백부(1520)는 코치평가정보 혹은 상기 코치평가정보가 가공된 형태의 데이터(자동평가정보가 반영된 인터페이스 구현과 관련된 데이터)를 상기 회원단말기에 전송하고, 회원단말기에서는 웹브라우져 혹은 전용애플리케이션을 통하여 코치평가정보를 확인할 수 있다.
평가모델학습부(1530)는 상기 코치평가결과 및 상기 면접영상을 이용하여 상기 기계학습을 이용한 평가모델을 학습시킨다. 즉, 실제 사람인 코치가 해당 면접영상에 대한 평가를 수행하였을 때, 이 정보를 회원단말기에 제공할 뿐만 아니라, 본 발명에서는 코치의 평가정보를 이용하여 평가모델을 더욱 강화한다. 이와 같은 코치서비스부(1500)의 이용으로 회원은 보다 실제적인 면접평가를 제공받을 수 있고, 서비스서버(1000)는 과정에서 생성되는 데이터를 활용함으로써 평가모델의 성능을 자동적으로 지속적으로 개선할 수 있는 효과를 발휘할 수 있다. 상기 평가모델학습부(1530)은 도 2에서의 LSTM모듈(112)를 학습시킬 수 있다.
한편, 상기 서비스서버(1000)의 DB(1600)에는 회원단말기로부터 수신한 면접영상, 해당 면접영상에 대한 면접영상평가부(1300)에서 수행한 자동평가정보, 상기 코치피드백부(1520)에서 수행한 코치평가정보, 회원 혹은 코치의 사용자정보, 및 사용자별 질문세트, 공통질문 등의 질문과 관련된 정보를 포함하는 질문정보, 및 상기 면접영상평가부(1300)가 면접영상을 평가하는 데 이용이 되고, 상기 평가모델학습부(1530)에 의하여 추가적인 학습이 수행되는 평가모델이 저장되어 있을 수 있다.
도 8에 도시된 서비스서버(1000)는 도시된 구성요소 외의 다른 요소들을 더 포함할 수 있으나, 편의상 본 발명의 실시예들에 따른 면접준비 서비스를 제공하는 방법과 관련된 구성요소들만을 표시하였다.
도 9는 본 발명의 일 실시예에 따른 특징정보도출부를 이용한 면접준비서비스를 제공하는 서비스서버에서 출력되는 화면의 일 예를 도시한다.
구체적으로, 도 9은 본 발명의 일 실시예에 따른 평가결과제공부(1400)의 종합평가제공부(1410)의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.
상기 평가결과제공부(1400)는 회원단말기에서의 입력에 따라서 다양한 평가화면을 회원단말기에 제공할 수 있다. 도 9는 회원단말기에서의 입력에 따라 종합평가를 제공하는 화면(도 6의 L3의 AI 종합을 사용자가 입력한 경우)을 도시한다.
상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 디스플레이요소는, 상기 면접영상을 재생할 수 있는 영상레이어(L1); 상기 면접영상에 대한 식별정보, 날짜, 설명정보 등이 표시될 수 있는 영상정보레이어(L2); 2 이상의 평가결과 카테고리를 선택할 수 있는 카테고리레이어(L3); 상기 2 이상의 평가결과 카테고리 중 선택된 평가결과 카테고리에 대한 자동평가결과가 디스플레이되는 자동평가결과레이어(L4, L5, L6)를 포함한다.
상기 영상레이어(L1)에서는 사용자의 입력에 따라서 면접영상이 플레이될 수 있다.
상기 카테고리레이어(L3)에서는 사용자의 입력에 따라서 평가결과 카테고리가 변경되면서, 제공화면이 전환된다. 카테고리레이어(L3)의 'AI종합'은 종합평가제공부(1410)에 의한 평가결과를 제공하는 것을 지칭하고, '성격특성'은 성격특성제공부(1420)에 의한 평가결과를 제공하는 것을 지칭하고, '프레임별분석'은 프레임별분석제공부(1430)에 의한 평가결과를 제공하는 것을 지칭한다.
즉, 상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 화면은, 상기 면접영상 전체에 대한 평가에 대한 요소를 디스플레이하는 제1화면(종합평가제공부(1410) 혹은 성격특성제공부(1420)에 의하여 디스플레이되는 화면) 및 상기 면접영상의 부분단위의 평가에 대한 요소를 디스플레이하는 제2화면(프레임별분석제공부(1430)에 의하여 디스플레이되는 화면)을 포함한다.
도 9의 자동평가결과레이어(L4, L5, L6 가 이에 해당할 수 있음)에는 복수의 평가정보가 디스플레이되고, 상기 자동평가정보에 기초한 평가정보가 디스플레이된다.
상기 복수의 평가정보는 호감도, 집중도, 신뢰감, 활기참, 침착성, 소통능력, 눈마주침, 친절함, 습관어 사용여부, 및 유쾌함 중 1 이상에 대한 정량화된 수치; 및 상기 정량화된 수치로부터 기초한 종합평가점수, 등급정보, 및 추천지수; 및 상기 평가정보들에 기초하여 자동적으로 작성된 텍스트평가정보를 포함한다.
도 10은 본 발명의 일 실시예에 따른 특징정보도출부를 이용한 면접준비서비스를 제공하는 서비스서버에서 출력되는 화면의 일 예를 도시한다.
구체적으로 도 10은 본 발명의 일 실시예에 따른 평가결과제공부(1400)의 성격특성제공부(1420)의 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.
상기 평가결과제공부(1400)는 회원단말기에서의 입력에 따라서 다양한 평가화면을 회원단말기에 제공할 수 있다. 도 10은 회원단말기에서의 입력에 따라 성격특성평가를 제공하는 화면(도 10의 L3의 성격특성을 사용자가 입력한 경우)을 도시한다.
상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 디스플레이요소는, 상기 면접영상을 재생할 수 있는 영상레이어(L1); 상기 면접영상에 대한 식별정보, 날짜, 설명정보 등이 표시될 수 있는 영상정보레이어(L2); 2 이상의 평가결과 카테고리를 선택할 수 있는 카테고리레이어(L3); 상기 2 이상의 평가결과 카테고리 중 선택된 평가결과 카테고리에 대한 자동평가결과가 디스플레이되는 자동평가결과레이어(L7)을 포함한다.
도 10의 자동평가결과레이어(L7)에는 복수의 평가정보가 디스플레이되고, 상기 자동평가정보에 기초한 평가정보가 디스플레이된다.
상기 복수의 평가정보는 개방성, 성실성, 외향성, 친화성, 및 신경성 중 1 이상의 성격특성에 대한 정량 혹은 등급적 정보를 포함할 수 있다.
도 11은 본 발명의 일 실시예에 따른 특징정보도출부를 이용한 면접준비서비스를 제공하는 서비스서버에서 출력되는 화면의 일 예를 도시한다.
구체적으로, 도 11은 본 발명의 일 실시예에 따른 평가결과제공부(1400)의 프레임별분석제공부(1430)의 감정결과제공 수행에 따른 사용자단말기에서의 표시화면을 개략적으로 도시한다.
사용자의 입력에 따라 평가결과제공부(1400)의 프레임별분석제공부(1430)는 감정 변화에 대한 결과제공을 수행할 수 있고, 이에 따라 제공되는 사용자단말기에서의 디스플레이요소는 시간구간 혹은 프레임구간에 따른 감정의 그래프를 포함하는 감정레이어(L11)를 포함할 수 있다.
상기 감정레이어(L11)에는 시간구간 혹은 프레임구간에 따라 각각의 감정, 예를 들어, 화남, 두려움, 놀람 등의 정도가 도시될 수 있다
바람직하게는, 감정레이어(L11)에는 각각의 감정에 대한 색상을 달리하여 그래프를 도시하고, 각각의 감정의 색상이 표시되는 것이 바람직하다.
감정종합레이어(L12)에는 영상 전체의 감정요소에 대한 정보가 도시되고, 바람직하게는 도 11에서와 같이 그래픽 요소에 의하여 각각의 감정요소의 비율을 도시한다.
위와 같은 사용자인터페이스를 통하여, 사용자는 면접 동안 타인에게 자신이 어떤 감정을 가지고 있는 것처럼 보였는지를 확인할 수 있고, 마찬가지로, 사용자는 감정레이어(L11)에서 특정 감정이 강하거나 약했던 프레임 혹은 타이밍을 확인하고, 이에 따라 그래프타이밍요소(E2)를 해당 타이밍으로 위치시키면, 영상레이어(L1)에서의 영상타이밍요소(E1)이 상응하는 위치로 자동적으로 이동하고, 사용자는 단순히 영상재생 버튼을 클릭함으로써, 특정 감정이 강하거나 약했던 때의 자신의 모습을 신속하게 파악할 수 있는 효과를 발휘할 수 있다.
도 12는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.
도 12에 도시한 바와 같이, 컴퓨팅 장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)는 감정인식시스템(100)에 연결된 사용자단말기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 학습된 임베딩모델에 포함하는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.
이러한 도 12의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 12에 도시된 일부 컴포넌트가 생략되거나, 도 10에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 12에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 복수의 프레임으로부터 특징정보를 도출하는 방법으로서,
    복수의 변형된 LSTM모듈 각각에는 각각의 프레임의 시퀀스에 따라, 해당 시퀀스의 프레임의 인코딩된 특징정보를 포함하는 인코딩정보(xt), 이전 시퀀스의 LSTM모듈에서 출력되는 잠재적특징정보(ht-1), 이전 시퀀스의 LSTM모듈에서 출력되는 셀상태정보(ct-1)를 포함하는 정보가 입력되고,
    복수의 변형된 LSTM모듈 각각에서는,
    학습된 제1가중치정보에 기초하여, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 있는 관련성특징정보(x1t)를 도출하고, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 상기 관련성특징정보에 비해 상대적으로 낮은 비관련성특징정보(x2- t)를 도출하는 인코딩정보분리단계;
    학습된 제2가중치정보, 현재 시퀀스의 상기 관련성특징정보(x1t), 현재 시퀀스의 상기 비관련성특징정보(x2- t), 이전 시퀀스의 상기 잠재적특징정보(ht-1), 이전 시퀀스의 상기 셀상태정보(ct-1)를 포함하는 정보에 기초하여, 포겟게이트, 인풋게이트, 아웃풋게이트를 이용하여, 해당 시퀀스의 프레임의 추론아웃풋정보(ot)를 출력하는 아웃풋정보도출단계;를 수행하는, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  2. 청구항 1에 있어서,
    상기 인코딩정보분리단계는,
    학습된 제1가중치, 현재 시퀀스의 인코딩정보(xt), 및 상기 이전잠재적특징정보(ht-1)에 포함된 정보에 기초하여, 상기 인코딩정보(xt)의 각각의 정보에서 도출하고자 하는 특징정보의 추출과 관련되는 어텐션파라미터(at)를 도출하는 단계;
    상기 어텐션파라미터(at)와 상기 인코딩정보(xt)에 기초하여 관련성특징정보(x1t)를 도출하는 단계; 및
    상기 어텐션파라미터(at)의 변형값과 상기 인코딩정보(xt)를 요소별 연산을 통하여, 비관련성특징정보(x2t)를 도출하는 단계;를 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  3. 청구항 2에 있어서,
    상기 어텐션파라미터(at)는 상기 현재 시퀀스의 인코딩정보(xt)에 요소별 연산(element-wise product)이 가능한 형태인, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  4. 청구항 1에 있어서,
    이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  5. 청구항 2에 있어서,
    이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1)를 포함하고,
    상기 어텐션파라미터(at)는 학습된 제1가중치, 현재 시퀀스의 인코딩정보(xt), 및 이전 시퀀스의 상기 관련성잠재적특징정보(h1t-1)에 기초하여 도출되는, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  6. 청구항 2에 있어서,
    상기 어텐션파라미터(at)의 각각의 열의 값이 커질수록 상응하는 상기 어텐션파리미터(at)의 변형값의 각각의 열의 값은 작아지는, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  7. 청구항 1에 있어서,
    이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함하고,
    상기 아웃풋정보도출단계는,
    이전 시퀀스의 상기 관련성특징정보(x1t-1), 관련성잠재적특징정보(h1t-1), 및 학습된 가중치를 포함하는 정보에 기초하여 관련성셀상태정보(c1t)를 도출하고,
    이전 시퀀스의 상기 비관련성특징정보(x2t-1), 비관련성잠재적특징정보(h2t-1), 및 학습된 가중치를 포함하는 정보에 기초하여 비관련성셀상태정보(c2t)를 도출하는 단계를 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  8. 청구항 1에 있어서,
    이전 시퀀스의 상기 잠재적특징정보(ht-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1)을 포함하고,
    이전 시퀀스의 상기 셀상태정보(ct-1)는 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성셀상태정보(c1t-1) 및 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성셀상태정보 (c2t-1)을 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  9. 청구항 1에 있어서,
    상기 아웃풋정보도출단계에서는,
    학습된 가중치, 현재 시퀀스의 상기 관련성특징정보(x1t)를 포함하는 정보에 기초하여 관련성인풋게이트값(i1t), 관련성포겟게이트값(f1t)를 도출하고,
    학습된 가중치, 현재 시퀀스의 상기 비관련성특징정보(x2t)를 포함하는 정보에 기초하여 비관련성인풋게이트값(i2t), 비관련성포겟게이트값(f2t)을 도출하고,
    상기 관련성인풋게이트값(i1t), 비관련성인풋게이트값(i2t), 관련성포겟게이트값(f1t), 및 비관련성포겟게이트값(f2t)는 상기 추론아웃풋정보(ot)를 도출하는 데 사용되는, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  10. 청구항 9에 있어서,
    상기 관련성인풋게이트값(i1t)를 도출하는 데 사용되는 학습된 가중치는 상기 비관련성인풋게이트값(i2t)를 도출하는 데 사용되는 학습된 가중치와 동일한, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  11. 청구항 9에 있어서,
    상기 관련성포겟게이트값(f1t)를 도출하는 데 사용되는 학습된 가중치는 상기 비관련성포겟게이트값(f2t)를 도출하는 데 사용되는 학습된 가중치와 동일한, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  12. 청구항 1에 있어서,
    상기 아웃풋정보도출단계에서 도출되는 상기 추론아웃풋정보(ot)는, 현재 시퀀스의 상기 관련성특징정보(x1t); 이전 시퀀스의 상기 관련성특징정보(x1t-1)를 포함하는 정보에 기초하여 도출되는 관련성잠재적특징정보(h1t-1); 및 현재 시퀀스의 상기 관련성특징정보(x1t)를 포함하는 정보에 기초하여 도출되는 현재 시퀀스의 관련성셀상태정보(c1t)와는 양(positive) 관계를 갖는, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  13. 청구항 1에 있어서,
    상기 아웃풋정보도출단계에서 도출되는 상기 추론아웃풋정보(ot)는, 이전 시퀀스의 상기 비관련성특징정보(x2t-1)를 포함하는 정보에 기초하여 도출되는 비관련성잠재적특징정보(h2t-1); 및 현재 시퀀스의 상기 비관련성특징정보(x2t)를 포함하는 정보에 기초하여 도출되는 현재 시퀀스의 비관련성셀상태정보(c2t)와는 음(negative) 관계를 갖는, 복수의 프레임으로부터 특징정보를 도출하는 방법.
  14. 복수의 프레임으로부터 특징정보를 도출하는 방법을 구현하기 위한 컴퓨터-판독가능 매체로서, 상기 컴퓨터-판독가능 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은:
    복수의 변형된 LSTM모듈 각각에서의, 각각의 프레임의 시퀀스에 따라, 해당 시퀀스의 프레임의 특징정보를 포함하는 인코딩정보(xt), 이전 시퀀스의 LSTM모듈에서 출력되는 잠재적특징정보(ht-1), 이전 시퀀스의 LSTM모듈에서 출력되는 셀상태정보(ct-1)를 포함하는 정보가 입력되는 단계;
    복수의 변형된 LSTM모듈 각각에서의, 학습된 제1가중치정보에 기초하여, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 있는 관련성특징정보(x1t)를 도출하고, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 상기 관련성특징정보에 비해 상대적으로 낮은 비관련성특징정보(x2- t)를 도출하는 인코딩정보분리단계; 및
    복수의 변형된 LSTM모듈 각각에서의, 학습된 제2가중치정보, 현재 시퀀스의 상기 관련성특징정보(x1t), 현재 시퀀스의 상기 비관련성특징정보(x2- t), 이전 시퀀스의 상기 잠재적특징정보(ht-1), 이전 시퀀스의 상기 셀상태정보(ct-1)를 포함하는 정보에 기초하여, 포겟게이트, 인풋게이트, 아웃풋게이트를 이용하여, 해당 시퀀스의 프레임의 추론아웃풋정보(ot)를 출력하는 아웃풋정보도출단계;를 포함하는, 컴퓨터-판독가능 매체.
  15. 복수의 프레임으로부터 특징정보를 도출하는 장치로서,
    상기 장치는 1 이상의 메모리 및 1 이상의 프로세서를 포함하고, 상기 프로세서는,
    복수의 변형된 LSTM모듈 각각에의, 각각의 프레임의 시퀀스에 따라, 해당 시퀀스의 프레임의 특징정보를 포함하는 인코딩정보(xt), 이전 시퀀스의 LSTM모듈에서 출력되는 잠재적특징정보(ht-1), 이전 시퀀스의 LSTM모듈에서 출력되는 셀상태정보(ct-1)를 포함하는 정보가 입력되는 단계;
    복수의 변형된 LSTM모듈 각각에서의, 학습된 제1가중치정보에 기초하여, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 있는 관련성특징정보(x1t)를 도출하고, 현재 시퀀스의 인코딩정보(xt)에서 도출하고자 하는 특징정보와 관련성이 상기 관련성특징정보에 비해 상대적으로 낮은 비관련성특징정보(x2- t)를 도출하는 인코딩정보분리단계; 및
    학습된 제2가중치정보, 현재 시퀀스의 상기 관련성특징정보(x1t), 현재 시퀀스의 상기 비관련성특징정보(x2- t), 이전 시퀀스의 상기 잠재적특징정보(ht-1), 이전 시퀀스의 상기 셀상태정보(ct-1)를 포함하는 정보에 기초하여, 포겟게이트, 인풋게이트, 아웃풋게이트를 이용하여, 해당 시퀀스의 프레임의 추론아웃풋정보(ot)를 출력하는 아웃풋정보도출단계;를 수행하는, 복수의 프레임으로부터 특징정보를 도출하는 장치.
  16. 서비스서버에서 수행되는 기계학습을 이용한 면접준비 서비스를 제공하는 방법으로서,
    기설정된 질문세트 중 1 이상의 질문정보를 사용자단말기에 송신하고, 상기 사용자단말기로부터 상기 질문정보에 응답을 수행한 면접영상을 수신하여 저장하는 면접영상저장단계;
    기계학습을 이용한 평가모델을 통하여 상기 면접영상에 대한 자동평가정보를 생성하는 면접영상평가단계; 및
    상기 자동평가정보에 기초하여 사용자단말기에 자동평가결과를 제공하는 평가결과제공단계;를 포함하는, 기계학습을 이용한 면접준비 서비스를 제공하는 방법으로서,
    상기 면접영상평가단계는, 청구항 1에 따른 복수의 프레임으로부터 특징정보를 도출하는 방법을 포함하는, 복수의 프레임으로부터 특징정보를 도출하는 장치.
  17. 청구항 16에 있어서,
    상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 디스플레이요소는,
    상기 면접영상을 재생할 수 있는 영상레이어;
    2 이상의 평가결과 카테고리를 선택할 수 있는 카테고리레이어;
    상기 2 이상의 평가결과 카테고리 중 선택된 평가결과 카테고리에 대한 자동평가결과가 디스플레이되는 자동평가결과레이어를 포함하는, 기계학습을 이용한 면접준비 서비스를 제공하는 방법.
  18. 청구항 16에 있어서,
    상기 평가결과제공단계에 의하여 제공되는 사용자단말기에서의 화면은,
    상기 면접영상 전체에 대한 평가에 대한 요소를 디스플레이하는 제1화면 및 상기 면접영상의 부분단위의 평가에 대한 요소를 디스플레이하는 제2화면을 포함하는, 기계학습을 이용한 면접준비 서비스를 제공하는 방법.





KR1020200024346A 2020-02-27 2020-02-27 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법, 컴퓨터 판독가능매체, 및 면접준비 서비스를 제공하는 방법 KR102371172B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200024346A KR102371172B1 (ko) 2020-02-27 2020-02-27 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법, 컴퓨터 판독가능매체, 및 면접준비 서비스를 제공하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200024346A KR102371172B1 (ko) 2020-02-27 2020-02-27 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법, 컴퓨터 판독가능매체, 및 면접준비 서비스를 제공하는 방법

Publications (2)

Publication Number Publication Date
KR20210109704A true KR20210109704A (ko) 2021-09-07
KR102371172B1 KR102371172B1 (ko) 2022-03-08

Family

ID=77797028

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200024346A KR102371172B1 (ko) 2020-02-27 2020-02-27 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법, 컴퓨터 판독가능매체, 및 면접준비 서비스를 제공하는 방법

Country Status (1)

Country Link
KR (1) KR102371172B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170040065A (ko) * 2015-10-02 2017-04-12 김정아 빅데이터를 활용한 개인 맞춤형 온라인 면접 코칭 첨삭 시스템
KR101984283B1 (ko) * 2017-11-22 2019-05-30 주식회사 제네시스랩 기계학습모델을 이용한 자동화된 피평가자분석 시스템, 방법, 및 컴퓨터 판독가능매체
KR20190140805A (ko) * 2018-05-29 2019-12-20 주식회사 제네시스랩 기계학습에 기초한 비언어적 평가 방법, 시스템 및 컴퓨터-판독가능 매체
KR20200000215A (ko) * 2018-06-22 2020-01-02 이미진 스피치 코칭 서비스 제공 시스템 및 방법
KR20200008838A (ko) * 2018-07-17 2020-01-29 김하륜 가상 면접 제공 방법 및 이를 이용하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170040065A (ko) * 2015-10-02 2017-04-12 김정아 빅데이터를 활용한 개인 맞춤형 온라인 면접 코칭 첨삭 시스템
KR101984283B1 (ko) * 2017-11-22 2019-05-30 주식회사 제네시스랩 기계학습모델을 이용한 자동화된 피평가자분석 시스템, 방법, 및 컴퓨터 판독가능매체
KR20190140805A (ko) * 2018-05-29 2019-12-20 주식회사 제네시스랩 기계학습에 기초한 비언어적 평가 방법, 시스템 및 컴퓨터-판독가능 매체
KR20200000215A (ko) * 2018-06-22 2020-01-02 이미진 스피치 코칭 서비스 제공 시스템 및 방법
KR20200008838A (ko) * 2018-07-17 2020-01-29 김하륜 가상 면접 제공 방법 및 이를 이용하는 장치

Also Published As

Publication number Publication date
KR102371172B1 (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
Escalante et al. Modeling, recognizing, and explaining apparent personality from videos
Mehta et al. Recent trends in deep learning based personality detection
US11010645B2 (en) Interactive artificial intelligence analytical system
Zhang et al. Data-driven online learning engagement detection via facial expression and mouse behavior recognition technology
Pabba et al. An intelligent system for monitoring students' engagement in large classroom teaching through facial expression recognition
Gupta et al. Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models
Han et al. A review on sentiment discovery and analysis of educational big‐data
KR20200009117A (ko) 텍스트 데이터 수집 및 분석을 위한 시스템
KR20190140805A (ko) 기계학습에 기초한 비언어적 평가 방법, 시스템 및 컴퓨터-판독가능 매체
CN115951786B (zh) 一种利用aigc技术的多结局创意社交游戏的创作方法
Chen et al. Emotion-age-gender-nationality based intention understanding in human–robot interaction using two-layer fuzzy support vector regression
Cheng Lin et al. Facial emotion recognition towards affective computing‐based learning
Marriwala et al. A hybrid model for depression detection using deep learning
Alpaydin Classifying multimodal data
Battistoni et al. AI at the edge for sign language learning support
Afzal et al. 26 Emotion Data Collection and Its Implications for Affective Computing
Villegas-Ch et al. Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques
Lima et al. Software with biofeedback to assist people with Down syndrome
Awwad Visual Emotion-Aware Cloud Localization User Experience Framework Based on Mobile Location Services.
KR102371172B1 (ko) 기계학습 모델을 이용하여 복수의 프레임으로부터 특징정보를 도출하는 시스템, 방법, 컴퓨터 판독가능매체, 및 면접준비 서비스를 제공하는 방법
Utami et al. A Brief Study of The Use of Pattern Recognition in Online Learning: Recommendation for Assessing Teaching Skills Automatically Online Based
Kächele et al. The influence of annotation, corpus design, and evaluation on the outcome of automatic classification of human emotions
KR102183412B1 (ko) 운세 정보 콘텐츠를 기반으로 하는 개인화 데이터를 이용한 제휴 마케팅 서비스 방법 및 인공지능 시스템
Cebral-Loureda et al. Neural deep learning models for learning analytics in a digital humanities laboratory
Arwa et al. CNN-Based Face Emotion Detection and Mouse Movement Analysis to Detect Student’s Engagement Level

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant