KR20230127126A - System and method for detecting anomaly state of interviewee in untact interview - Google Patents

System and method for detecting anomaly state of interviewee in untact interview Download PDF

Info

Publication number
KR20230127126A
KR20230127126A KR1020220111892A KR20220111892A KR20230127126A KR 20230127126 A KR20230127126 A KR 20230127126A KR 1020220111892 A KR1020220111892 A KR 1020220111892A KR 20220111892 A KR20220111892 A KR 20220111892A KR 20230127126 A KR20230127126 A KR 20230127126A
Authority
KR
South Korea
Prior art keywords
face
interviewer
interview
bio
signal
Prior art date
Application number
KR1020220111892A
Other languages
Korean (ko)
Inventor
류문욱
이준성
심광현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20230127126A publication Critical patent/KR20230127126A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G06Q10/1053—Employment or hiring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data

Abstract

본 발명은 비대면 면접을 위한 면접자 이상상태 분석 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 비대면 면접을 위한 면접자 이상상태 분석 시스템은 비대면 면접 상황에서 면접자의 영상 정보를 획득하는 데이터 획득부와, 영상 정보에서 생체 신호를 검출하는 생체신호 추출부와, 학습 모델과 추론 모델을 포함하는 분석 모델을 이용하여, 생체 신호를 분석하여 면접자의 이상 상태 여부를 판단하는 생체신호 분석부 및 면접자의 이상 상태 여부에 대한 판단 결과를 제공하는 면접자 상태 출력부를 포함한다. The present invention relates to an interviewer abnormal state analysis system and method for a non-face-to-face interview.
An interviewer abnormal state analysis system for a non-face-to-face interview according to the present invention includes a data acquisition unit for obtaining video information of an interviewer in a non-face-to-face interview situation, a bio-signal extraction unit for detecting bio-signals from the video information, and a learning model and inference. A bio-signal analyzer that analyzes the bio-signal to determine whether the interviewer is in an abnormal state by using an analysis model including a model, and an interviewer status output unit that provides a result of determining whether the interviewer is in an abnormal state or not.

Description

비대면 면접을 위한 면접자 이상상태 분석 시스템 및 그 방법{SYSTEM AND METHOD FOR DETECTING ANOMALY STATE OF INTERVIEWEE IN UNTACT INTERVIEW}Interviewer abnormal state analysis system and method for non-face-to-face interview {SYSTEM AND METHOD FOR DETECTING ANOMALY STATE OF INTERVIEWEE IN UNTACT INTERVIEW}

본 발명은 비대면 면접을 위한 면접자 이상상태 분석 시스템 및 그 방법에 관한 것이다. The present invention relates to an interviewer abnormal state analysis system and method for a non-face-to-face interview.

종래 기술에 따르면, 비대면 면접 시 면접자를 분석하는 기술은 답변의 신뢰도를 평가하기 위해 면접자의 음성 정보, 외형 정보, 문항 응답을 분석하는 방법을 제안하였으나, 이는 면접자의 트레이닝에 의해 충분히 극복될 수 있는 요소이므로, 답변 신뢰도에 대한 평가 지표로써 객관성이 부족하다는 한계가 있다. According to the prior art, the technique of analyzing the interviewer during a non-face-to-face interview proposed a method of analyzing the interviewer's voice information, appearance information, and item responses to evaluate the reliability of the answer, but this can be sufficiently overcome by the interviewer's training. Since it is a factor, there is a limit in that it lacks objectivity as an evaluation index for answer reliability.

본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 면접자의 내재적인 감정 및 심경 변화에 의한 자율 신경계를 대변하는 생체 신호를 기반으로 면접자의 질의응답에 관한 신뢰도를 평가하는 면접자 이상상태 분석 시스템 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above-mentioned problems, and an interviewer abnormal state analysis system that evaluates the reliability of the interviewer's question-answering based on the biosignal representing the autonomic nervous system due to the interviewer's intrinsic emotion and state of mind change, and Its purpose is to provide a method.

본 발명은 생체 신호 기반 이상 패턴 감지 및 자가 학습 기술을 제안함으로써, 온라인 비대면 면접 상황에서 단순히 면접관의 주관적인 평가에 의존하는 종래의 방식을 탈피하고, 면접자의 정서 변화 또는 답변의 신뢰도를 평가할 수 있는 지표를 제공한다. The present invention proposes bio-signal-based abnormal pattern detection and self-learning technology, thereby breaking away from the conventional method that simply relies on the interviewer's subjective evaluation in an online non-face-to-face interview situation, and evaluating the interviewer's emotional change or the reliability of the answer. provide indicators.

본 발명에 따른 비대면 면접을 위한 면접자 이상상태 분석 시스템은 비대면 면접 상황에서 면접자의 영상 정보를 획득하는 데이터 획득부와, 영상 정보에서 생체 신호를 검출하는 생체신호 추출부와, 학습 모델과 추론 모델을 포함하는 분석 모델을 이용하여, 생체 신호를 분석하여 면접자의 이상 상태 여부를 판단하는 생체신호 분석부 및 면접자의 이상 상태 여부에 대한 판단 결과를 제공하는 면접자 상태 출력부를 포함한다. An interviewer abnormal state analysis system for a non-face-to-face interview according to the present invention includes a data acquisition unit for obtaining video information of an interviewer in a non-face-to-face interview situation, a bio-signal extraction unit for detecting bio-signals from the video information, and a learning model and inference. A bio-signal analyzer that analyzes the bio-signal to determine whether the interviewer is in an abnormal state by using an analysis model including a model, and an interviewer status output unit that provides a result of determining whether the interviewer is in an abnormal state or not.

본 발명에 따른 비대면 면접을 위한 면접자 이상상태 분석 방법은 (a) 비대면 면접 환경에서 획득된 영상을 이용하여 생체 신호를 검출하는 단계와, (b) 학습 모델을 이용하여 생체 신호를 분석하여 면접자의 이상 상태를 검출하는 단계 및 (c) 모의 면접 페이즈에서 획득된 설문조사 데이터를 이용하여 학습 모델을 업데이트하는 단계를 포함한다. A method for analyzing an interviewer's abnormal state for a non-face-to-face interview according to the present invention includes the steps of (a) detecting a biosignal using an image obtained in a nonface-to-face interview environment, (b) analyzing the biosignal using a learning model and (c) updating a learning model using survey data obtained in the mock interview phase.

본 발명에 따른 비대면 면접을 위한 면접자 이상상태 분석 장치는 비대면 면접 환경에서 면접자의 얼굴 영상을 획득하는 입력부와, 얼굴 영상을 이용하여 면접자의 생체 신호를 분석하고 이상 상태를 판단하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 학습 모델 및 추론 모델을 포함하는 분석 모델을 이용하여 면접자의 이상 상태를 판단한다. An apparatus for analyzing an interviewer's abnormal state for a non-face-to-face interview according to the present invention stores an input unit for acquiring an interviewer's face image in a non-face-to-face interview environment, and a program for analyzing the interviewer's biosignal using the face image and determining the abnormal state. It includes a memory and a processor that executes a program, and the processor determines the abnormal state of the interviewer by using an analysis model including a learning model and an inference model.

본 발명에 따르면, 온라인 비대면 면접 상황에서 획득된 영상 기반 생체 신호로부터 면접자의 이상 상태를 실시간으로 감지하고, 이상 상태 판단 결과를 면접관에게 피드백함으로써, 면접관이 면접자의 감정 상태 또는 답변에 대한 신뢰도 평가를 위한 지표로 활용할 수 있도록 지원한다. According to the present invention, the interviewer's abnormal state is detected in real time from video-based biosignals obtained in an online non-face-to-face interview situation, and the abnormal state determination result is fed back to the interviewer, so that the interviewer evaluates the interviewer's emotional state or reliability of the answer. to be used as indicators for

이를 통해, 종래의 비대면 면접 대비 보다 객관적인 평가가 가능하도록 지원하고, 자가 학습이 가능하도록 하여 면접 상황의 누적에 따라 더욱 정확하게 면접자의 이상 상태를 분석하는 것이 가능한 효과가 있다. Through this, it is possible to support more objective evaluation than conventional non-face-to-face interviews, and to enable self-learning, so that the interviewer's abnormal state can be analyzed more accurately according to the accumulation of interview situations.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 실시예에 따른 비대면 면접을 위한 면접자 이상상태 분석 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 비대면 면접을 위한 면접자 이상상태 분석 방법을 도시한다.
도 3은 본 발명의 실시예에 따른 비대면 면접을 위한 면접자 이상상태 분석 장치를 도시한다. 1 shows an interviewer abnormal state analysis system for a non-face-to-face interview according to an embodiment of the present invention.
2 shows a method for analyzing an interviewer's abnormal state for a non-face-to-face interview according to an embodiment of the present invention.
3 shows an interviewer abnormal state analysis apparatus for a non-face-to-face interview according to an embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The foregoing and other objects, advantages and characteristics of the present invention, and a method of achieving them will become clear with reference to the detailed embodiments described below in conjunction with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms, and only the following embodiments provide the purpose of the invention, As only provided to easily inform the configuration and effect, the scope of the present invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in this specification are for describing the embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, “comprises” and/or “comprising” means the presence of one or more other components, steps, operations, and/or elements in which a stated component, step, operation, and/or element is present. or added.

코로나19의 여파로 채용 시장이 정체되어, 대기업 및 공공기관에서 정체된 채용을 타개하기 위해 비대면 채용 방식을 적극적으로 수용함에 따라, 비대면 면접 서비스와 관련한 시장이 급성장하고 있다. As the recruitment market has been stagnant in the aftermath of COVID-19, and large corporations and public institutions are actively accepting non-face-to-face recruitment methods to overcome stagnant recruitment, the market related to non-face-to-face interview services is growing rapidly.

비대면 면접은 면접자의 직무 적합성, 조직 적합성, 성장 가능성 등을 파악하기 위한 질의 응답 방식으로 진행되며, 면접관은 면접자의 답변을 토대로 면접자를 평가한다. Non-face-to-face interviews are conducted in a question-and-answer format to identify the interviewer's suitability for the job, organizational suitability, and growth potential, and the interviewer evaluates the interviewer based on the interviewer's answers.

면접의 평가과정에서 면접관의 평가를 보조하기 위해, 평가 기준 및 채점 가이드가 제시되지만, 면접관의 평가는 자신의 경험과 성향에 상당히 의존적일 수 밖에 없어, 면접자에 대한 객관적인 평가 결과를 제공하기가 어려운 실정이다. Evaluation standards and scoring guides are presented to assist the interviewer in the evaluation process of the interview, but the interviewer's evaluation is inevitably highly dependent on his/her own experience and inclination, making it difficult to provide objective evaluation results for the interviewer. The situation is.

특히, 면접자의 답변에 대한 신뢰도를 평가하는 것은 면접에 있어서 상당히 중요한 요소이지만, 많은 경험을 쌓은 면접관들 또한 이러한 주관적인 평가 요소인 신뢰도 평가에 어려움을 겪는다. In particular, evaluating the reliability of an interviewer's answer is a very important factor in an interview, but interviewers with a lot of experience also have difficulty in evaluating reliability, which is a subjective evaluation factor.

종래의 비대면 면접 분석 방법은 면접자 답변의 신뢰도를 평가하기 위해, 면접자의 답변 영상에서의 음성 정보(높낮이, 떨림, 억양) 및 외형 정보(표정, 움직임)와 문항 응답을 분석하는 방식을 제안한다. The conventional non-face-to-face interview analysis method proposes a method of analyzing voice information (height, tremor, intonation) and appearance information (facial expression, movement) and question responses in the interviewer's answer video to evaluate the reliability of the interviewer's answer. .

그런데, 음성 정보, 외형 정보 그리고 문항 응답으로 표현되는 특징들은 면접자가 트레이닝 과정을 통해 충분히 극복 가능한 사항이므로, 면접자 답변의 신뢰도를 판단하기 위한 근본적인 지표로써 객관성이 다소 부족할 수 있다. However, since the features expressed as voice information, appearance information, and question responses are matters that the interviewer can sufficiently overcome through a training process, objectivity as a fundamental indicator for determining the reliability of the interviewer's answers may be somewhat lacking.

도 1은 본 발명의 실시예에 따른 비대면 면접을 위한 면접자 이상상태 분석 시스템을 도시한다. 1 shows an interviewer abnormal state analysis system for a non-face-to-face interview according to an embodiment of the present invention.

본 발명의 실시예에 따른 비대면 면접을 위한 면접자 이상상태 분석 시스템은 생체 신호를 기반으로 질의 응답 상황에서 발생하는 면접자의 생리상태 정보를 분석하고, 모니터링 분석 결과를 면접관에게 제공한다. The system for analyzing an interviewer's abnormal state for a non-face-to-face interview according to an embodiment of the present invention analyzes physiological state information of an interviewer generated in a question-and-answer situation based on a biosignal, and provides the monitoring analysis result to the interviewer.

본 발명의 실시예에 따른 데이터 획득부(100), 생체신호 추출부(200), 생체신호 분석부(300) 및 면접자 상태 출력부(400)는 데이터를 처리할 수 있는 시스템(서버, PC, 노트북, 모바일 등)으로 구성될 수 있다. The data acquisition unit 100, the bio-signal extraction unit 200, the bio-signal analysis unit 300, and the interviewer status output unit 400 according to an embodiment of the present invention are systems capable of processing data (server, PC, laptop, mobile, etc.).

데이터 획득부(100)는 면접자의 얼굴 영상을 획득하며, 카메라, 웹캠, 모바일 디바이스 등 동영상을 촬영하고 저장하는 장치로 구성된다. 소프트웨어 측면으로는 웹, 앱 등에서 구동되는 비대면 면접 애플리케이션을 기반으로 면접자 얼굴 영상을 획득한다. The data acquisition unit 100 acquires an interviewer's face image, and is composed of a device such as a camera, webcam, mobile device, or the like that captures and stores a video. In terms of software, an interviewer's face image is acquired based on a non-face-to-face interview application that runs on the web or app.

비대면 면접 애플리케이션은 주어진 질의응답을 통해 면접자를 평가하는 모의 면접과 실제 면접을 진행하는 영상 면접 서비스로 구분되며, 모의 면접 서비스의 경우 사용자의 이상 상태를 인식하기 위해 모의 질의 응답에 관한 상태 (특정 질문에 관해 거짓으로 응답을 하거나, 당황한 경험 등)가 표기된 데이터가 영상 데이터와 함께 제공된다. 실제 면접을 진행하는 영상 면접 서비스에서는 면접자의 얼굴 영상 데이터만을 제공한다.Non-face-to-face interview applications are divided into mock interviews that evaluate interviewers through given questions and answers, and video interview services that conduct actual interviews. Data indicating false answers to questions, experiences of embarrassment, etc.) are provided together with the video data. In the video interview service that conducts actual interviews, only face image data of the interviewer is provided.

생체 신호 추출부(200)는 면접자의 맥박, 맥박수, 호흡수, 맥박 변이도 중 적어도 어느 하나를 포함하는 생체 신호를 검출한다. The biosignal extractor 200 detects a biosignal including at least one of the interviewer's pulse, pulse rate, respiratory rate, and pulse variability.

생체 신호 추출부(200)는 신호 처리, 딥러닝 기술을 활용하여 면접자의 얼굴 영상을 분석하여 생체 신호를 검출한다. The bio-signal extractor 200 analyzes the interviewer's face image using signal processing and deep learning technology to detect the bio-signal.

생체 신호 분석부(300)는 생체 신호 추출부(200)가 추출한 면접자의 생체 신호를 기반으로 생리 상태를 판별한다. The bio-signal analysis unit 300 determines the physiological state based on the bio-signals of the interviewer extracted by the bio-signal extractor 200 .

생체 신호 분석부(300)는 모의 면접 페이즈과 실제 면접 페이즈 두 상황에서 각기 다른 방향으로 동작하고, 모의 면접 페이즈에서는 면접자의 생체 신호 데이터 뿐만 아니라, 응답 결과에 관한 레이블을 제공 받아 생체 신호 분석부의 분석 모델을 학습하는 방향으로 동작한다. The bio-signal analyzer 300 operates in different directions in both the simulated interview phase and the actual interview phase. It works in the direction of learning.

생체 신호 분석부(300)는 실제 면접 페이즈에서는 모의 면접 페이즈에서 학습된 모델을 기반으로 면접자의 생체 신호를 분석하는 방향으로 동작한다. The biological signal analyzer 300 operates in the direction of analyzing the biological signals of the interviewee based on the model learned in the mock interview phase in the actual interview phase.

생체 신호 분석부(300)는 학습 모델과 추론 모델을 포함하는 분석 모델을 이용하여 생체 신호 분석을 수행한다. The biosignal analyzer 300 performs biosignal analysis using an analysis model including a learning model and an inference model.

학습 모델은 오토 인코더를 기반으로 일반 상태의 생체 신호 패턴을 학습하고, 일정 길이의 생체 신호 입력으로 학습 모델을 통과한(학습 모델을 기반으로 재구성된) 데이터와 비교하여, 이상 상태를 판별한다. The learning model learns bio-signal patterns in a normal state based on an auto-encoder, compares them with data that has passed through the learning model (reconstructed based on the learning model) as a bio-signal input of a certain length, and determines an abnormal state.

전술한 바와 같이 생체 신호 분석부(300)의 이원화된 구성을 통해, 비대면 면접 서비스와 모의 면접 서비스를 지원하고, 이를 통해 시스템이 스스로 학습을 수행하여 정확도를 향상시키는 장점이 있다. As described above, through the dual configuration of the bio-signal analyzer 300, there is an advantage in that a non-face-to-face interview service and a mock interview service are supported, and through this, the system performs self-learning to improve accuracy.

생체 신호 분석부(300)는 모의 면접 상황과 실제 면접 상황을 제어 모듈에서 구분하는데, 모의 면접 페이즈에서는 면접자의 상태가 표기된 레이블을 생체 신호와 함께 제공받고, 실제 면접 페이즈에서는 면접자의 얼굴 영상 데이터만을 제공받는다. The biological signal analyzer 300 distinguishes between a mock interview situation and an actual interview situation in a control module. In the mock interview phase, a label indicating the status of the interviewer is provided along with the biosignal, and in the actual interview phase, only the interviewer's face image data is provided. be provided

모의 면접 페이즈에서는 분석 모델을 학습하는 형태(학습 모델)로 생체 신호 분석부가 동작하고, 실제 면접 페이즈에서는 면접자의 생리 상태를 판별하는 형태(추론 모델)로 동작한다. In the simulated interview phase, the biological signal analyzer operates in the form of learning the analysis model (learning model), and in the actual interview phase, it operates in the form of determining the physiological state of the interviewer (inference model).

생체 신호 분석부(300)의 분석 모델은 특정 구간의 생체 신호, 예컨대 5 초 동안의 맥박 데이터, 10 초 동안의 맥박 변이도와 같이, 특정 시간 동안 다양한 생체 신호의 조합으로서 맥박, 맥박수, 호흡수, 맥박 변이도 중 적어도 어느 하나를 기반으로 동작하며, 입력된 생체 신호 데이터와 분석 모델을 통과한 생체 신호 데이터를 비교하여, 이상 상태를 판별한다. The analysis model of the bio-signal analyzer 300 is a combination of various bio-signals for a specific period of time, such as bio-signals of a specific section, such as pulse data for 5 seconds and pulse variability for 10 seconds, such as pulse rate, pulse rate, respiration rate, It operates based on at least one of the pulse variability and compares the input biosignal data with the biosignal data that has passed through the analysis model to determine an abnormal state.

면접자 상태 출력부(400)는 면접자의 영상, 생체 신호 및 면접자의 이상 상태 유무를 출력하는 모듈로서, 비대면 면접 애플리케이션을 통해 출력되거나, 다양한 타입의 디스플레이 장치를 통해 결과를 출력하도록 전송한다. The interviewer state output unit 400 is a module that outputs the interviewer's image, biosignal, and the presence or absence of an abnormal state of the interviewer, and transmits the output through a non-face-to-face interview application or outputs the result through various types of display devices.

본 발명의 실시예에 따르면, 면접 상황에서 질의응답에 관한 사용자의 생리 상태 판별 결과에 따른 면접자 상태 정보(현재 생리 상태)를 제공하고, 생리 상태에 따라 능동적인 질의를 제공하는 시스템으로 활용 가능하다. According to an embodiment of the present invention, it can be used as a system that provides interviewer status information (current physiological status) according to the result of determining the user's physiological status regarding question-answering in an interview situation, and provides active questions according to the physiological status. .

전술한 바와 같이, 본 발명의 실시예에 따르면 모의 면접에서 획득된 데이터를 기반으로 학습 모델을 업데이트하고, 실제 면접에서 이용 가능한 자가 학습 기반 서비스 플랫폼을 제공한다. As described above, according to an embodiment of the present invention, a learning model is updated based on data obtained from mock interviews, and a self-learning-based service platform usable in actual interviews is provided.

본 발명의 다른 실시예에 따르면, 생체 신호 추출부(200)는 신호 처리, 딥러닝 기술을 활용하여 면접자의 얼굴 영상을 분석하여 생체 신호를 검출하는 것에 부가적으로, 스마트 워치 등 접촉식 센서로부터 면접자의 생체 신호를 획득할 수 있다. According to another embodiment of the present invention, the biosignal extractor 200 analyzes the face image of the interviewer using signal processing and deep learning technology to detect biosignals, in addition to detecting biosignals from a contact sensor such as a smart watch. A biological signal of the interviewer may be obtained.

모의 면접의 경우, 사용자(면접자)의 동의 하에 스마트 워치 등 접촉식 센서를 이용하여 사용자(면접자)의 실제 데이터(접촉식 센서 기반 레퍼런스 데이터)를 수집하고, 이를 기반으로 실제 면접에 활용되는 생체신호 학습 모델을 업데이트하는 것이 가능하다. In the case of a mock interview, the actual data (contact sensor-based reference data) of the user (interviewer) is collected using a contact sensor such as a smart watch with the consent of the user (interviewer), and based on this, the biosignal used in the actual interview It is possible to update the learning model.

실제 면접에서는 접촉식 센서가 구비되는 경우 더 정확한 결과값을 얻을 수 있으나, 접촉식 센서가 없는 경우에도 면접자 이상상태 분석 서비스의 제공이 가능하다. In an actual interview, a more accurate result can be obtained when a contact sensor is provided, but an abnormal state analysis service for the interviewer can be provided even when the contact sensor is not present.

도 2는 본 발명의 실시예에 따른 비대면 면접을 위한 면접자 이상상태 분석 방법을 도시한다. 2 shows a method for analyzing an interviewer's abnormal state for a non-face-to-face interview according to an embodiment of the present invention.

본 발명의 실시예에 따른 비대면 면접을 위한 면접자 이상상태 분석 방법은 비대면 면접 환경에서 획득된 영상을 이용하여 생체 신호를 검출하는 단계(S210)와, 학습 모델을 이용하여 생체 신호를 분석하여 면접자의 이상 상태를 검출하는 단계(S220) 및 (c) 모의 면접 페이즈에서 획득된 설문조사 데이터를 이용하여 학습 모델을 업데이트하는 단계(S230)를 포함한다. The method for analyzing the abnormal state of an interviewer for a non-face-to-face interview according to an embodiment of the present invention includes the steps of detecting a biological signal using an image obtained in a non-face-to-face interview environment (S210), and analyzing the biological signal using a learning model Detecting an abnormal state of the interviewer (S220) and (c) updating a learning model using survey data obtained in the mock interview phase (S230).

S210 단계는 비대면 면접 어플리케이션에서 면접자의 얼굴 영상을 획득한다. 기본적으로는 영상 기반 생체 신호를 활용하지만, 스마트워치와 같은 접촉식 센서를 부가적으로 이용하여 보다 정확한 생체 신호를 획득하는 것이 가능하다. S210 단계는 면접자의 맥박, 맥박 변이도, 맥박수, 호흡수 중 적어도 어느 하나를 검출한다. 학습 모델은 모의 면접 페이즈에서 응답 결과 레이블을 제공받아 학습된다. Step S210 acquires an interviewer's face image in a non-face-to-face interview application. Basically, an image-based biosignal is used, but it is possible to obtain a more accurate biosignal by additionally using a contact sensor such as a smart watch. Step S210 detects at least one of the interviewer's pulse, pulse variability, pulse rate, and respiratory rate. The learning model is trained by receiving response result labels in the mock interview phase.

본 발명의 실시예에 따른 비대면 면접을 위한 면접자 이상상태 분석 방법은 면접자의 이상 상태에 따른 추천 질의 리스트를 제공하는 단계를 더 포함할 수 있다. The method for analyzing an interviewer's abnormal state for a non-face-to-face interview according to an embodiment of the present invention may further include providing a list of recommended questions according to the interviewer's abnormal state.

도 3은 본 발명의 실시예에 따른 비대면 면접을 위한 면접자 이상상태 분석 장치를 도시한다. 3 shows an interviewer abnormal state analysis apparatus for a non-face-to-face interview according to an embodiment of the present invention.

본 발명의 실시예에 따른 비대면 면접을 위한 면접자 이상상태 분석 장치는 비대면 면접 환경에서 면접자의 얼굴 영상을 획득하는 입력부(310)와, 얼굴 영상을 이용하여 면접자의 생체 신호를 분석하고 이상 상태를 판단하는 프로그램이 저장된 메모리(320) 및 프로그램을 실행시키는 프로세서(330)를 포함하고, 프로세서(330)는 학습 모델 및 추론 모델을 포함하는 분석 모델을 이용하여 면접자의 이상 상태를 판단한다. An interviewer abnormal state analysis apparatus for a non-face-to-face interview according to an embodiment of the present invention includes an input unit 310 that acquires an interviewer's face image in a non-face-to-face interview environment, analyzes the interviewer's biosignal using the face image, and analyzes the interviewer's abnormal state It includes a memory 320 storing a program for determining and a processor 330 that executes the program, and the processor 330 determines the abnormal state of the interviewer by using an analysis model including a learning model and an inference model.

프로세서(330)는 면접자의 맥박, 맥박수, 호흡수, 맥박 변이도 중 적어도 어느 하나를 검출한다. The processor 330 detects at least one of the interviewer's pulse, pulse rate, respiratory rate, and pulse variability.

프로세서(330)는 모의 면접 페이즈에서 응답결과 레이블을 이용하여 분석 모델을 학습하고, 분석 모델을 이용하여 판단한 이상 상태와 추천 질의 리스트를 제공한다. The processor 330 learns an analysis model using the response result labels in the mock interview phase, and provides a list of recommended questions and abnormal conditions determined using the analysis model.

또한, 프로세서(330)는 면접자의 감정 상태 변화에 대한 판단에 있어서, 면접자의 이상 상태에 따른 추천 질의 리스트를 제공하되, 생체 신호의 변화 추세를 가속시키는 것으로 분류된 제1 추천 질의와, 생체 신호의 변화 추세를 감속시키는 것으로 분류된 제2 추천 질의를 함께 제공한다. In addition, in determining the change in emotional state of the interviewer, the processor 330 provides a list of recommended questions according to the interviewer's abnormal state, the first recommendation query classified as accelerating the change trend of the biosignal, and the biosignal. A second recommendation query classified as slowing down the change trend of is provided together.

생체 신호의 변화 추세 정보를 모니터링한 결과에 따라, 그 변화 추세를 강화시키거나 약화시키는 것으로 예상되는 질의를 제공하고, 그 질의에 대한 답변 시 획득된 영상 데이터를 분석하여 사용자의 생체 신호의 변화 정보를 확인한다. According to the result of monitoring the change trend information of the biosignal, a query that is expected to strengthen or weaken the change trend is provided, and when the query is answered, image data obtained is analyzed to change information of the user's biosignal. Check the

본 발명의 실시예에 따르면, 생체 신호 변화 추세에 대한 가/감속이 예상되는 질의 리스트를 제공하되, 사용자 생체 신호 변화 추세를 분석한 개인 특성 분석 결과에 따라, 면접 상황에서 시간 순서 별로 질의 리스트를 능동적으로 변경해가며 추천함으로써, 사용자의 생체 신호 변화가 단순한 긴장에 의한 것인지, 특정 질문에 관해 거짓으로 응답을 한 것에 기인한 것인지 여부를 정확하게 판별하는 것이 가능한 효과가 있다. According to an embodiment of the present invention, while providing a list of questions in which acceleration/deceleration of changes in biosignal trends are expected, the list of questions in chronological order in an interview situation is provided according to the personal characteristics analysis result of analyzing the trend of changes in biosignals of the user. By actively changing and recommending, it is possible to accurately determine whether the change in the user's biosignal is due to simple tension or a false answer to a specific question.

한편, 본 발명의 실시예에 따른 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the method according to the embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. A computer system may include at least one processor, a memory, a user input device, a data communication bus, a user output device, and a storage. Each of the aforementioned components communicates data through a data communication bus.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in memory and/or storage.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or non-volatile storage media. For example, memory may include ROM and RAM.

따라서, 본 발명의 실시예에 따른 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 방법을 수행할 수 있다.Therefore, the method according to the embodiment of the present invention can be implemented as a method executable on a computer. When the method according to an embodiment of the present invention is executed in a computer device, computer readable instructions may perform the method according to the present invention.

한편, 상술한 본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the method according to the present invention described above may be implemented as computer readable codes on a computer readable recording medium. Computer-readable recording media includes all types of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.

Claims (15)

비대면 면접 상황에서 면접자의 영상 정보를 획득하는 데이터 획득부;
상기 영상 정보에서 생체 신호를 검출하는 생체신호 추출부;
학습 모델과 추론 모델을 포함하는 분석 모델을 이용하여, 상기 생체 신호를 분석하여 면접자의 이상 상태 여부를 판단하는 생체신호 분석부; 및
상기 면접자의 이상 상태 여부에 대한 판단 결과를 제공하는 면접자 상태 출력부
를 포함하는 비대면 면접을 위한 면접자 이상상태 분석 시스템.
A data acquisition unit for obtaining image information of an interviewer in a non-face-to-face interview situation;
a bio-signal extractor for detecting a bio-signal from the image information;
a bio-signal analysis unit that analyzes the bio-signal and determines whether the interviewer is in an abnormal state by using an analysis model including a learning model and an inference model; and
An interviewer status output unit providing a result of determining whether the interviewer is in an abnormal state or not
An interviewer abnormal condition analysis system for a non-face-to-face interview that includes a.
 제1항에 있어서,
상기 데이터 획득부는 비대면 면접 어플리케이션을 이용하여 상기 면접자의 얼굴 영상을 획득하는 것
인 비대면 면접을 위한 면접자 이상상태 분석 시스템.
According to claim 1,
The data acquisition unit acquires the face image of the interviewer using a non-face-to-face interview application
An interviewer abnormal condition analysis system for non-face-to-face interviews.
 제1항에 있어서,
상기 생체신호 추출부는 상기 면접자의 맥박, 맥박수, 호흡수, 맥박 변이도 중 적어도 어느 하나를 포함하는 상기 생체 신호를 검출하는 것
인 비대면 면접을 위한 면접자 이상상태 분석 시스템.
According to claim 1,
The bio-signal extraction unit detects the bio-signal including at least one of the interviewer's pulse, pulse rate, respiratory rate, and pulse variability.
An interviewer abnormal condition analysis system for non-face-to-face interviews.
 제1항에 있어서,
상기 생체신호 분석부는 모의 면접 페이즈 및 실제 면접 페이즈에서 동작하고, 상기 모의 면접 페이즈에서 응답결과 레이블을 제공받아 상기 분석 모델을 학습하는 것
인 비대면 면접을 위한 면접자 이상상태 분석 시스템.
According to claim 1,
The bio-signal analyzer operates in a simulated interview phase and an actual interview phase, receives a response result label in the simulated interview phase, and learns the analysis model.
An interviewer abnormal condition analysis system for non-face-to-face interviews.
 제4항에 있어서,
상기 생체신호 분석부는 상기 모의 면접 페이즈에서 학습된 모델을 기반으로 상기 면접자의 생체 신호를 분석하며, 기설정 길이의 생체 신호 입력으로 상기 학습 모델을 통과한 데이터와의 비교 결과를 분석하여 이상 상태를 판별하는 것
인 비대면 면접을 위한 면접자 이상상태 분석 시스템.
According to claim 4,
The bio-signal analyzer analyzes the bio-signal of the interviewer based on the model learned in the mock interview phase, and analyzes the result of comparison with the data that passed through the learning model with the bio-signal input of a predetermined length to determine an abnormal state. to determine
An interviewer abnormal condition analysis system for non-face-to-face interviews.
 제1항에 있어서,
상기 면접자 상태 출력부는 상기 면접자의 이상 상태 여부에 따른 추천 질의 리스트를 함께 제공하는 것
인 비대면 면접을 위한 면접자 이상상태 분석 시스템.
According to claim 1,
The interviewer status output unit provides a list of recommended questions according to whether or not the interviewer is in an abnormal state.
An interviewer abnormal condition analysis system for non-face-to-face interviews.
 제1항에 있어서,
상기 데이터 획득부는 레이블 데이터 획득을 통한 이상 패턴 학습을 위해, 모의 면접 페이즈에서 접촉식 센서에 의해 획득되는 생체 신호를 수신하는 것
인 비대면 면접을 위한 면접자 이상상태 분석 시스템.
According to claim 1,
The data acquisition unit receives a biosignal obtained by a contact sensor in a simulated interview phase to learn an abnormal pattern through label data acquisition.
An interviewer abnormal condition analysis system for non-face-to-face interviews.
 (a) 비대면 면접 환경에서 획득된 영상을 이용하여 생체 신호를 검출하는 단계;
(b) 학습 모델을 이용하여 상기 생체 신호를 분석하여 면접자의 이상 상태를 검출하는 단계; 및
(c) 모의 면접 페이즈에서 획득된 설문조사 데이터를 이용하여 학습 모델을 업데이트하는 단계
를 포함하는 비대면 면접을 위한 면접자 이상상태 분석 방법.
(a) detecting a biosignal using an image obtained in a non-face-to-face interview environment;
(b) detecting an abnormal state of the interviewer by analyzing the biosignal using a learning model; and
(c) Updating the learning model using survey data obtained in the mock interview phase
Interviewer ideal state analysis method for non-face-to-face interviews including.
 제8항에 있어서,
상기 (a) 단계는 비대면 면접 어플리케이션에서 상기 면접자의 얼굴 영상을 획득하는 것
인 비대면 면접을 위한 면접자 이상상태 분석 방법.
According to claim 8,
The step (a) is to acquire the face image of the interviewer in a non-face-to-face interview application.
An interviewer's ideal state analysis method for face-to-face interviews.
 제8항에 있어서,
상기 (a) 단계는 상기 면접자의 맥박, 맥박 변이도, 맥박수, 호흡수 중 적어도 어느 하나를 검출하는 것
인 비대면 면접을 위한 면접자 이상상태 분석 방법.
According to claim 8,
The step (a) is to detect at least one of the interviewer's pulse, pulse variability, pulse rate, and respiratory rate.
An interviewer's ideal state analysis method for face-to-face interviews.
 제8항에 있어서,
상기 학습 모델은 상기 모의 면접 페이즈에서 응답 결과 레이블을 제공받아 학습되는 것
인 비대면 면접을 위한 면접자 이상상태 분석 방법.
According to claim 8,
The learning model is learned by receiving a response result label in the mock interview phase.
An interviewer's ideal state analysis method for face-to-face interviews.
 제8항에 있어서,
(d) 상기 면접자의 이상 상태에 따른 추천 질의 리스트를 제공하는 단계
를 더 포함하는 비대면 면접을 위한 면접자 이상상태 분석 방법.
According to claim 8,
(d) providing a list of recommended questions according to the ideal state of the interviewer
An interviewer ideal state analysis method for a non-face-to-face interview that further includes.
 비대면 면접 환경에서 면접자의 얼굴 영상을 획득하는 입력부;
상기 얼굴 영상을 이용하여 상기 면접자의 생체 신호를 분석하고 이상 상태를 판단하는 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하고,
상기 프로세서는 학습 모델 및 추론 모델을 포함하는 분석 모델을 이용하여 상기 면접자의 이상 상태를 판단하는 것
인 비대면 면접을 위한 면접자 이상상태 분석 장치.
An input unit for acquiring a face image of an interviewer in a non-face-to-face interview environment;
a memory storing a program for analyzing the bio-signal of the interviewer and determining an abnormal state using the face image; and
A processor for executing the program;
The processor determines the abnormal state of the interviewer using an analysis model including a learning model and an inference model.
Interviewer ideal condition analysis device for non-face-to-face interview.
 제13항에 있어서,
상기 프로세서는 상기 면접자의 맥박, 맥박수, 호흡수, 맥박 변이도 중 적어도 어느 하나를 검출하는 것
인 비대면 면접을 위한 면접자 이상상태 분석 장치.
According to claim 13,
The processor detects at least one of the interviewer's pulse, pulse rate, respiratory rate, and pulse variability.
Interviewer ideal condition analysis device for non-face-to-face interview.
 제13항에 있어서,
상기 프로세서는 모의 면접 페이즈에서 응답결과 레이블을 이용하여 상기 분석 모델을 학습하고, 상기 분석 모델을 이용하여 판단한 상기 이상 상태와 추천 질의 리스트를 제공하는 것
인 비대면 면접을 위한 면접자 이상상태 분석 장치. According to claim 13,
The processor learns the analysis model using the response result label in the mock interview phase, and provides the abnormal state determined using the analysis model and a list of recommended questions.
Interviewer ideal condition analysis device for non-face-to-face interview.
KR1020220111892A 2022-02-24 2022-09-05 System and method for detecting anomaly state of interviewee in untact interview KR20230127126A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220024504 2022-02-24
KR1020220024504 2022-02-24

Publications (1)

Publication Number Publication Date
KR20230127126A true KR20230127126A (en) 2023-08-31

Family

ID=87847486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220111892A KR20230127126A (en) 2022-02-24 2022-09-05 System and method for detecting anomaly state of interviewee in untact interview

Country Status (1)

Country Link
KR (1) KR20230127126A (en)

Similar Documents

Publication Publication Date Title
US8793715B1 (en) Identifying key media events and modeling causal relationships between key events and reported feelings
US8758018B2 (en) EEG-based acceleration of second language learning
US8814357B2 (en) System and method for identifying the existence and position of text in visual media content and for determining a subject's interactions with the text
Schmitt et al. Interaction quality: assessing the quality of ongoing spoken dialog interaction by experts—and how it relates to user satisfaction
US20200178876A1 (en) Interactive and adaptive learning, neurocognitive disorder diagnosis, and noncompliance detection systems using pupillary response and face tracking and emotion detection with associated methods
US9775525B2 (en) Concentration presence/absence determining device and content evaluation apparatus
US20170278417A1 (en) Evaluating test taking
US20120259240A1 (en) Method and System for Assessing and Measuring Emotional Intensity to a Stimulus
US11475788B2 (en) Method and system for evaluating and monitoring compliance using emotion detection
US10176365B1 (en) Systems and methods for multi-modal performance scoring using time-series features
Augereau et al. Towards an automated estimation of English skill via TOEIC score based on reading analysis
CN110569347A (en) Data processing method and device, storage medium and electronic equipment
Liapis et al. User experience evaluation: A validation study of a tool-based approach for automatic stress detection using physiological signals
CN112801052A (en) User concentration degree detection method and user concentration degree detection system
KR20210067451A (en) Reading ability improvement training apparatus and method for providing training service to improve reading ability in connection with reading ability diagnosis apparatus based on eye tracking
KR20160105286A (en) Apparatus and method for diagnostic of internet overflow
Haines et al. Using automated computer vision and machine learning to code facial expressions of affect and arousal: Implications for emotion dysregulation research
Lima Sanches et al. Estimation of reading subjective understanding based on eye gaze analysis
US11666258B2 (en) Eye-tracking system for detection of cognitive load
US20220020040A1 (en) Systems and methods for detecting and analyzing response bias
Ceneda et al. Show me your face: Towards an automated method to provide timely guidance in visual analytics
Shobana et al. I-Quiz: An Intelligent Assessment Tool for Non-Verbal Behaviour Detection.
Dupré et al. Emotion recognition in humans and machine using posed and spontaneous facial expression
Abirami et al. Identification and exploration of facial expression in children with ASD in a contact less environment
US20230105077A1 (en) Method and system for evaluating and monitoring compliance, interactive and adaptive learning, and neurocognitive disorder diagnosis using pupillary response, face tracking emotion detection