KR101747712B1 - interview auto recognizetion real-time management method by smart phone - Google Patents

interview auto recognizetion real-time management method by smart phone Download PDF

Info

Publication number
KR101747712B1
KR101747712B1 KR1020160049027A KR20160049027A KR101747712B1 KR 101747712 B1 KR101747712 B1 KR 101747712B1 KR 1020160049027 A KR1020160049027 A KR 1020160049027A KR 20160049027 A KR20160049027 A KR 20160049027A KR 101747712 B1 KR101747712 B1 KR 101747712B1
Authority
KR
South Korea
Prior art keywords
data
signal
interview
unit
image
Prior art date
Application number
KR1020160049027A
Other languages
Korean (ko)
Inventor
황기현
김정아
Original Assignee
동서대학교산학협력단
주식회사 제이컴즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단, 주식회사 제이컴즈 filed Critical 동서대학교산학협력단
Priority to KR1020160049027A priority Critical patent/KR101747712B1/en
Application granted granted Critical
Publication of KR101747712B1 publication Critical patent/KR101747712B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G06Q10/1053—Employment or hiring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Abstract

본 발명은 스마트폰(100)의 제어부(130)가 사용자의 모의면접 시 신호입력부를 통해 입력되는 신호를 이진화 작업하여 데이터로 변환하는 신호처리단계(131); 상기 제어부(130)가 이진화 작업을 통해 변환된 데이터와 저장부에 저장된 데이터를 비교분석하여 모의면접 결과데이터를 도출하는 비교분석단계(132); 상기 제어부(130)가 모의면접 결과데이터를 통해 사용자에게 부족한 부분을 정보로 변환하여 디스플레이부의 화면(150)에 출력시키는 정보제공단계(133); 로 이루어지는 것으로,
본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법은 모의 면접을 통해 스마트폰으로 음성 및 영상 신호를 획득하고, 획득한 신호를 통해 데이터로 변환한 후, 변환된 데이터를 저장부의 데이터와 비교분석하여 면접에 필요한 발음, 억양, 말하는 속도, 얼굴 표정, 시선 등을 데이터로 도출한 모의면접 결과데이터를 통해 사용자에게 부족한 부분을 학습할 수 있도록 출력정보로 변환하여 디스플레이부의 화면상에 출력함으로써 사용자에게 부족한 부분을 보완할 수 있도록 반복연습 시키고, 반복연습을 통해 사용자의 면접 시 자신감을 향상시키는 현저한 효과가 있다.A signal processing step (131) of converting the signal input through the signal input unit into a data by the control unit (130) of the smartphone (100) by binarizing the signal input through the signal input unit; A comparative analysis step (132) of comparing and analyzing the data converted through the binarization operation and the data stored in the storage unit and deriving the simulated interview result data; An information providing step (133) of converting the insufficient parts to the user through the simulated interview result data and outputting the information to the display part (150) of the display part (130); In this case,
A method for real-time interview recognition automatic recognition through a smartphone of the present invention includes acquiring voice and image signals through a smart phone through a simulated interview, converting the acquired voice and image signals into data through a signal obtained, It is converted into output information so as to be able to learn the insufficient part through the mock interview result data derived from the data of the pronunciation, intonation, speaking speed, facial expression, gaze, etc. necessary for the interview and outputted on the screen of the display unit, There is a remarkable effect that it is repeatedly practiced so as to supplement the part, and self-confidence is improved when the user is interviewed through repeated practice.

Description

스마트폰을 통한 면접 자동인식 실시간관리방법 { interview auto recognizetion real-time management method by smart phone }[0001] The present invention relates to a method and apparatus for automatically recognizing an interview,

본 발명은 스마트폰을 통한 면접 자동인식 실시간관리방법에 관한 것으로, 보다 상세하게는 모의 면접을 통해 스마트폰으로 음성 및 영상 신호를 획득하고, 획득한 신호를 통해 데이터로 변환한 후, 변환된 데이터를 저장부의 데이터와 비교분석하여 면접에 필요한 발음, 억양, 말하는 속도, 얼굴 표정, 시선 등을 데이터로 도출한 모의면접 결과데이터를 통해 사용자에게 부족한 부분을 학습할 수 있도록 출력정보로 변환하여 디스플레이부의 화면상에 출력함으로써 사용자에게 부족한 부분을 보완할 수 있도록 반복연습 시키고, 반복연습을 통해 사용자의 면접 시 자신감을 향상시키는 스마트폰을 통한 면접 자동인식 실시간관리방법에 관한 것이다.More particularly, the present invention relates to a method and system for real-time automatic recognition of interviews through a smart phone. More specifically, the present invention relates to a method and apparatus for acquiring voice and video signals on a smartphone through a simulated interview, Is compared with the data of the storage unit and converted into output information so that the user can learn the insufficient part through the mock interview result data derived from the data such as pronunciation, intonation, speaking speed, facial expression, and gaze necessary for the interview, And a real-time management method of an automatic recognition of an interview through a smartphone that improves self-confidence in a user's interview through repetitive practice by repeatedly practicing the user by supplementing the lack thereof by outputting on the screen.

종래기술로서 등록특허공보 등록번호 제10-1519591호의 음성인식 기반의 가상 면접 처리 시스템 및 방법에 있어서, 가상 면접의 질문에 대응하여 입력된 음향으로부터 음향신호를 출력하는 마이크; 음성인식을 통해 변환된 텍스트 데이터로부터 발음정확도를 평가하고, 질문 키워드에 근거하여 답변 단어의 연관어를 검색하여 다음 질문 정보를 추출함과 아울러 면접 평가를 수행하는 제어부; 상기 제어부의 제어에 의해 다음 질문 정보 및 평가 결과들을 출력하는 출력부; 및 질문 정보를 저장하고 있으며, 평가 결과들을 포함한 면접 과정을 저장하는 저장부를 포함하며, 상기 제어부는, 상기 음향신호로부터 음성을 인식하여 텍스트 데이터로 변환하고, 상기 텍스트 데이터의 단어여부 검증을 통해 발음정확도를 평가하는 음성 인식부; 상기 질문 키워드에 근거하여 단어의 필터링을 수행하고, 필터링된 단어의 연관어를 추출하는 단어 선택부; 상기 질문 키워드와 상기 연관어의 답변 유사도를 평가하여 질문의 방향을 설정하여 상기 다음 질문 정보를 추출하는 질문 추출부; 추출된 다음 질문에 대한 메시지를 포함하는 영상을 생성하여 출력하는 영상 출력부; 및 추출된 다음 질문에 대한 음성을 생성하여 출력하는 음성 출력부를 포함하며, 상기 음성 인식부는, 표준어의 특징 데이터에 대한 통계치가 분절적, 비분적절 항목으로 구분되어 저장되어 있는 음성특징 저장부; 상기 음성특징 저장부에 저장된 특징 데이터와 음성을 비교하여 확률 밀도 함수로 표현하고, 템플릿 기반의 패턴 매칭 방법을 이용하여 음성특징을 추출하는 음성특징 추출부; 특정 요소에 대한 팩터(factor)별 가중치를 적용하여 특징 데이터간 비교를 통해 음성을 추출하는 음성 추출부; 및 음성에 대한 음의 세기 및 피치의 수치 데이터와 상기 특징 데이터의 수치 데이터를 비교하여 표준어에 설정기준치 이상으로 근접해 있는지 판단하고, 발음의 형태, 성향 및 순서를 포함하는 패턴 데이터와 표준어의 패턴 데이터를 비교하여 설정기준치 이상으로 유사한지 판단하고, 상기 특징 데이터, 상기 특징 데이터의 이론치 및 가상 면접 지원자의 발음 분석 자료를 근간으로 각 분절적, 비분절적 경향 및 중요도를 산출하고, 각 요소에 대한 팩터별 가중치를 적용하여 발음정확도를 평가하는 발음정확도 평가부를 포함하며, 상기 단어 선택부로부터 추출된 상기 연관어와 상기 질문 키워드로부터 면접 평가를 수행하는 음성인식 기반의 가상 면접 처리 시스템이라고 기재되어 있다.A voice recognition based virtual interview processing system and method of Patent Registration No. 10-1519591 discloses a microphone for outputting an acoustic signal from a sound input in response to a question of a virtual interview. A control unit for evaluating pronunciation accuracy from text data converted through speech recognition, extracting next question information by searching for a related word of an answer word based on a question keyword, and performing an interview evaluation; An output unit for outputting next question information and evaluation results under the control of the control unit; And a storage unit for storing the question information and storing the interview process including the evaluation results, wherein the control unit recognizes the speech from the acoustic signal and converts the speech into text data, A speech recognition unit for evaluating the accuracy; A word selecting unit for performing a word filtering based on the question keyword and extracting a related word of the filtered word; A question extracting unit for evaluating answer similarity of the question keyword and the related word to set a direction of the question to extract the next question information; An image output unit for generating and outputting an image including a message for the extracted next question; And a speech output unit for generating and outputting a speech for the extracted next question, wherein the speech recognition unit comprises: a speech feature storage unit in which statistics on the feature data of the standard word are classified and divided into segmental and non-segmental items; A voice feature extraction unit that compares feature data stored in the voice feature storage unit with voice and expresses the feature data as a probability density function and extracts a voice feature using a template-based pattern matching method; A voice extracting unit for extracting a voice by comparing the feature data by applying a weighting factor for each specific factor; And comparing the numerical data of the pitch and the sound intensity with respect to the voice and the numerical data of the characteristic data to judge whether the standard word is close to a set reference value or more and determining pattern data including the form of pronunciation, And the similarity of the feature data, the theoretical value of the feature data, and the phonetic analysis data of the virtual interview applicant, and calculates a factor for each element A voice recognition based virtual interview processing system which includes a pronunciation accuracy evaluation unit for evaluating pronunciation accuracy by applying a star weight and performs an interview evaluation from the association word extracted from the word selection unit and the question keyword.

다른 종래기술로서 등록특허공보 등록번호 제10-1372810호의 모의 면접 시스템 및 방법에 있어서, 모의 면접 시스템에 있어서, 네트워크를 통해 데이터 및 신호를 송수신하는 송수신부; 복수개의 면접 질문들 및 해당 면접 질문들이 어떤 회사명이나 회사 타입 또는 학교명이나 학과 계열 등 어떤 면접 타입에 대응하는 지를 포함하는 모의 면접 컨텐츠를 포함하는 데이터베이스; 상기 송수신부를 통해 피면접자 단말로부터 모의 면접 요청을 수신하면, 복수개의 회사명 및 복수개의 학교명에 해당하는 면접 타입을 포함하는 모의 면접 메뉴 항목들을 제공하고, 상기 메뉴 항목들 중 적어도 하나가 선택되면, 상기 복수개의 면접 질문들 중 상기 선택된 메뉴 항목에 따른 질문들을 추출하고, 상기 추출된 질문들을 음성 출력하고 면접 화면을 구성하여 모의 면접 플래시를 생성하여, 상기 송수신부를 통해 상기 피면접자 단말로 전송하는 컨트롤러; 상기 피면접자 단말의 카메라를 통하여 취득되는 영상을 판독하고 분석하여 피면접자의 태도나 자세를 분석하는 모션분석모듈; 및 상기 피면접자 단말의 마이크를 통하여 취득되는 음성을 판독 및 분석하여 피면접자의 음성에 대한 음성주파수를 분석하는 음성분석모듈을 포함하며; 상기 피면접자의 태도나 자세에 대한 분석정확도를 향상시키기 위해, 상기 컨트롤러는 상기 피면접자의 위치를 파악하여 피면접자의 위치 조정이 이루어지도록 상기 피면접자의 단말로 상기 위치 조정의 메시지를 전달하여 상기 면접 화면을 구성하고, 상기 면접 화면은 화면 내 화면 방식(PIP)을 이용하여 상기 피면접자와 면접자를 각각 디스플레이하고, 상기 컨트롤러는 면접 분석에 대한 비용을 지불한 피면접자에 대해 상기 모션분석모듈과 상기 음성분석모듈의 분석 결과를 상기 피면접자 단말로 전송하고, 상기 모의 면접 플래시는 H.264 코덱 플레이가 가능한 플래시 비디오(FLV) 파일인 모의 면접 시스템이라고 기재되어 있다.As another conventional art, in a simulated interview system and method of Patent Registration No. 10-1372810, a simulated interview system includes a transceiver for transmitting and receiving data and signals through a network; A database comprising simulated interview content including a plurality of interview questions and the interview questions corresponding to which interview type, such as a company name or a company type or a school name or a department series; A mock interview menu item including an interview type corresponding to a plurality of company names and a plurality of school names is provided when a mock interview request is received from the contactee terminal through the transceiver unit and when at least one of the menu items is selected, A controller for extracting questions according to the selected menu item from among the plurality of interview questions, outputting the extracted questions as a voice, generating an interview screen to generate a simulated interview flash, and transmitting the generated simulated interview flash to the contactee terminal via the transceiver; A motion analysis module for analyzing the attitude and posture of the subject by reading and analyzing the image acquired through the camera of the subject contact terminal; And a speech analysis module for reading and analyzing a voice acquired through the microphone of the face-to-face terminal and analyzing a voice frequency of the voice of the face-to-face person; In order to improve the analysis accuracy of the attitude or posture of the subject, the controller grasps the position of the subject to be interviewed and transmits the position adjustment message to the terminal of the subject to be interviewed so as to adjust the position of the subject, Wherein the interview screen displays the interviewee and the interviewee using an in-screen display method (PIP), and the controller analyzes an analysis of the motion analysis module and the speech analysis module for an interviewee who paid a fee for interview analysis And transmits the result to the face-to-face terminal, and the simulated interview flash is a simulated interview system which is a flash video (FLV) file capable of H.264 codec play.

그러나 상기와 같은 종래의 방법은 모의면접을 통해 면접에 필요한 발음, 말하는 속도, 얼굴 표정 등의 자신의 음성 및 영상을 비교분석하지 못함으로써 면접에 도움이 되지 못하는 단점이 있었다.However, the conventional method as described above has disadvantages in that it can not be used for the interview because the user can not compare and analyze his / her voice and images such as pronunciation, speed, and facial expressions necessary for the interview through the mock interview.

따라서 본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법을 통하여, 모의 면접을 통해 스마트폰으로 음성 및 영상 신호를 획득하고, 획득한 신호를 통해 데이터로 변환한 후, 변환된 데이터를 저장부의 데이터와 비교분석하여 면접에 필요한 발음, 억양, 말하는 속도, 얼굴 표정, 시선 등을 데이터로 도출한 모의면접 결과데이터를 통해 사용자에게 부족한 부분을 학습할 수 있도록 출력정보로 변환하여 디스플레이부의 화면상에 출력함으로써 사용자에게 부족한 부분을 보완할 수 있도록 반복연습 시키고, 반복연습을 통해 사용자의 면접 시 자신감을 향상시키는 스마트폰을 통한 면접 자동인식 실시간관리방법을 제공하고자 하는 것이다.Accordingly, through the method of real-time interview recognition automatic recognition through the smartphone of the present invention, voice and image signals are acquired through a simulated interview through a simulated interview, the data is converted into data through the obtained signal, And outputs the output information on the screen of the display unit so that the user can learn the insufficient part through the simulated interview result data derived from the data by pronunciation, intonation, speaking speed, facial expression, gaze, etc. necessary for the interview The present invention is to provide a real-time management method of an automatic recognition of an interview through a smart phone that repeatedly exercises so as to make up for the lack of the user and enhances self-confidence in user's interview through repeated practice.

본 발명은 스마트폰(100)의 제어부(130)가 사용자의 모의면접 시 신호입력부를 통해 입력되는 신호를 이진화 작업하여 데이터로 변환하는 신호처리단계(131); 상기 제어부(130)가 이진화 작업을 통해 변환된 데이터와 저장부에 저장된 데이터를 비교분석하여 모의면접 결과데이터를 도출하는 비교분석단계(132); 상기 제어부(130)가 모의면접 결과데이터를 통해 사용자에게 부족한 부분을 정보로 변환하여 디스플레이부의 화면(150)에 출력시키는 정보제공단계(133); 로 이루어지는 것을 특징으로 한다.A signal processing step (131) of converting the signal input through the signal input unit into a data by the control unit (130) of the smartphone (100) by binarizing the signal input through the signal input unit; A comparative analysis step (132) of comparing and analyzing the data converted through the binarization operation and the data stored in the storage unit and deriving the simulated interview result data; An information providing step (133) of converting the insufficient parts to the user through the simulated interview result data and outputting the information to the display part (150) of the display part (130); .

본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법은 모의 면접을 통해 스마트폰으로 음성 및 영상 신호를 획득하고, 획득한 신호를 통해 데이터로 변환한 후, 변환된 데이터를 저장부의 데이터와 비교분석하여 면접에 필요한 발음, 억양, 말하는 속도, 얼굴 표정, 시선 등을 데이터로 도출한 모의면접 결과데이터를 통해 사용자에게 부족한 부분을 학습할 수 있도록 출력정보로 변환하여 디스플레이부의 화면상에 출력함으로써 사용자에게 부족한 부분을 보완할 수 있도록 반복연습 시키고, 반복연습을 통해 사용자의 면접 시 자신감을 향상시키는 현저한 효과가 있다.A method for real-time interview recognition automatic recognition through a smartphone of the present invention includes acquiring voice and image signals through a smart phone through a simulated interview, converting the acquired voice and image signals into data through a signal obtained, It is converted into output information so as to be able to learn the insufficient part through the mock interview result data derived from the data of the pronunciation, intonation, speaking speed, facial expression, gaze, etc. necessary for the interview and outputted on the screen of the display unit, There is a remarkable effect that it is repeatedly practiced so as to supplement the part, and self-confidence is improved when the user is interviewed through repeated practice.

도 1은 본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법의 구성 및 개념도
도 2는 본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법의 음성/영상처리 순서도
도 3은 본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법의 음성 데이터를 관리하는 데이터베이스의 구성도
도 4는 본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법의 영상 데이터를 관리하는 데이터베이스의 구성도1 is a configuration and a conceptual diagram of a method for real-time interview automatic recognition through a smartphone of the present invention
FIG. 2 is a flowchart showing a voice / image processing flowchart of a method for real-
3 is a block diagram of a database for managing voice data in a method for real-time management of interview automatic recognition through the smartphone of the present invention
4 is a block diagram of a database for managing image data of a method for real-

본 발명은 스마트폰(100)의 제어부(130)가 사용자의 모의면접 시 신호입력부를 통해 입력되는 신호를 이진화 작업하여 데이터로 변환하는 신호처리단계(131); 상기 제어부(130)가 이진화 작업을 통해 변환된 데이터와 저장부에 저장된 데이터를 비교분석하여 모의면접 결과데이터를 도출하는 비교분석단계(132); 상기 제어부(130)가 모의면접 결과데이터를 통해 사용자에게 부족한 부분을 정보로 변환하여 디스플레이부의 화면(150)에 출력시키는 정보제공단계(133); 로 이루어지는 것을 특징으로 한다.A signal processing step (131) of converting the signal input through the signal input unit into a data by the control unit (130) of the smartphone (100) by binarizing the signal input through the signal input unit; A comparative analysis step (132) of comparing and analyzing the data converted through the binarization operation and the data stored in the storage unit and deriving the simulated interview result data; An information providing step (133) of converting the insufficient parts to the user through the simulated interview result data and outputting the information to the display part (150) of the display part (130); .

또한, 상기 신호처리단계(131)는 제어부(130)가 신호입력부에서 입력되는 신호를 확인하는 신호확인단계; 제어부(130)가 확인된 신호를 보정하는 보정단계; 제어부(130)가 보정된 신호를 이진화하여 데이터로 변환하는 이진화단계; 로 이루어지는 것을 특징으로 한다.In addition, the signal processing step 131 includes a signal checking step of checking a signal inputted from the signal input unit by the control unit 130; A correction step of causing the control unit (130) to correct the identified signal; A binarization step of binarizing and converting the corrected signal into data; .

또한, 상기 비교분석단계(132)는 제어부(130)가 신호입력부를 통해 획득한 영상신호 또는 음성신호에 해당하는 데이터를 저장부에 저장된 데이터와 비교하여 모의면접 결과데이터가 도출되는 것을 특징으로 한다.The comparative analysis step 132 is characterized in that the controller 130 compares the data corresponding to the video signal or the voice signal acquired through the signal input unit with the data stored in the storage unit to derive the simulated interview result data .

또한, 상기 정보제공단계(133)는 제어부(130)가 획득한 모의면접 결과데이터를 통해 저장부에서 사용자가 부족한 부분을 검색하여, 검색된 출력정보가 스마트폰(100) 디스플레이부의 화면(150)에 출력되는 것을 특징으로 한다.In addition, the information providing step 133 searches the storage part for the user's lacking part through the simulated interview result data obtained by the controller 130, and the retrieved output information is displayed on the screen 150 of the display part of the smartphone 100 .

본 발명을 첨부 도면에 의해 상세히 설명하면 다음과 같다.The present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법의 구성 및 개념도, 도 2는 본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법의 음성/영상처리 순서도, 도 3은 본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법의 음성 데이터를 관리하는 데이터베이스의 구성도, 도 4는 본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법의 영상 데이터를 관리하는 데이터베이스의 구성도이다.FIG. 1 is a configuration and a conceptual view of a method for real-time interview management automatic recognition through a smartphone of the present invention, FIG. 2 is a flowchart of a voice / image processing of an interview automatic recognition real time management method using the smartphone of the present invention, FIG. 4 is a block diagram of a database for managing image data of an interview automatic recognition real time management method using the smartphone of the present invention. FIG.

본 발명에 대해 구체적으로 기술하면, 본 발명의 구성은 신호를 획득하여 제어부(130)로 신호를 전달하는 신호입력부와; 데이터를 저장하는 저장부와; 화면(150)을 출력하는 디스플레이부와; 신호입력부, 저장부, 디스플레이부, 또는 무선통신부(140)에 연결되어 제어하며 연산처리를 하는 제어부(130); 로 이루어진다.The present invention will now be described in more detail with reference to the accompanying drawings. A storage unit for storing data; A display unit for outputting a screen 150; A control unit 130 connected to the signal input unit, the storage unit, the display unit, or the wireless communication unit 140 to control and process the signal; .

상기 제어부(130)는 신호입력부를 통해 데이터를 입력받으며, 저장부에 저장된 데이터를 신호입력부에서 입력된 데이터와 비교분석하여 디스플레이부의 화면에 출력하도록 제어한다.The control unit 130 receives data through the signal input unit, and controls the data stored in the storage unit to be compared with the data input from the signal input unit and output to the display unit.

상기 신호입력부는 영상신호를 획득하는 영상입력부(110) 또는 음성신호를 획득하는 음성인식부(120)를 사용하되, 상기 신호입력부에서 인식한 신호는 제어부(130)로 보내지는 것이다.The signal input unit uses an image input unit 110 for acquiring a video signal or a voice recognition unit 120 for acquiring a voice signal. The signal recognized by the signal input unit is sent to the control unit 130.

한편, 상기 음성인식부(120)는 스마트폰(100)에 내장된 음성 센서 또는 이어폰에 설치된 마이크를 사용할 수 있다.Meanwhile, the voice recognition unit 120 may use a voice sensor built in the smartphone 100 or a microphone installed in an earphone.

상기 저장부는 스마트폰(100) 데이터저장부(160)를 사용하는 것으로, 상기 제어부(130)에 연결된 무선통신부(140)를 통해 서버(200) 데이터베이스(210)에 저장된 데이터를 수신하여 수신된 데이터가 제어부(130)로 인해 데이터저장부(160)에 데이터가 저장된다.The storage unit uses the data storage unit 160 of the smartphone 100 and receives data stored in the database 200 of the server 200 through the wireless communication unit 140 connected to the controller 130, The data is stored in the data storage unit 160 due to the control unit 130.

그리고 상기 서버(200)는 데이터베이스(210)가 구축되어 스마트폰(100)의 무선통신부(140)로 무선통신으로 데이터를 전송하여 스마트폰(100)의 제어부를 통해 저장부에 저장되도록 하며, 상기 데이터베이스(210)에 관한 것은 후술하도록 한다.The server 200 transmits the data to the wireless communication unit 140 of the smartphone 100 through the database 210 and stores the data in the storage unit through the control unit of the smartphone 100, The database 210 will be described later.

그리고 본 발명은 스마트폰(100)의 제어부(130)가 사용자의 모의면접 시 신호입력부를 통해 입력되는 신호를 이진화 작업하여 데이터로 변환하는 신호처리단계(131); 상기 제어부(130)가 이진화 작업을 통해 변환된 데이터와 저장부에 저장된 데이터를 비교분석하여 모의면접 결과데이터를 도출하는 비교분석단계(132); 상기 제어부(130)가 모의면접 결과데이터를 통해 사용자에게 부족한 부분을 정보로 변환하여 디스플레이부의 화면(150)에 출력시키는 정보제공단계(133); 로 이루어지는 것으로, 상기 스마트폰(100) 디스플레이부의 화면(150)에 사용자에게 모의면접 결과데이터를 정보로 변환하여 보여줌으로써 사용자의 면접 실력을 향상시키는 것이다.The present invention includes a signal processing step (131) for converting a signal input through a signal input unit into a data by a control unit (130) of a smartphone (100), and converting the input signal into data; A comparative analysis step (132) of comparing and analyzing the data converted through the binarization operation and the data stored in the storage unit and deriving the simulated interview result data; An information providing step (133) of converting the insufficient parts to the user through the simulated interview result data and outputting the information to the display part (150) of the display part (130); And the simulated interview result data is converted into information on the screen 150 of the display unit of the smartphone 100 and is displayed to improve the interview ability of the user.

상기 신호처리단계(131)는 제어부(130)가 신호입력부에서 입력되는 신호를 확인하는 신호확인단계; 제어부(130)가 확인된 신호를 보정하는 보정단계; 제어부(130)가 보정된 신호를 이진화하여 데이터로 변환하는 이진화단계; 로 이루어진다.The signal processing step 131 includes a signal checking step of checking a signal inputted from the signal input unit by the control unit 130; A correction step of causing the control unit (130) to correct the identified signal; A binarization step of binarizing and converting the corrected signal into data; .

상기 신호확인단계는 제어부(130)가 신호입력부의 신호를 확인하여 신호 확인이 실패할 시, 신호 인식 실패 메시지를 스마트폰(100) 디스플레이부의 화면(150)에 출력시키고, 새로 입력되는 신호를 통해 신호확인단계를 다시 실행한다.In the signal checking step, when the control unit 130 confirms the signal of the signal input unit and fails to check the signal, a signal recognition failure message is outputted to the screen 150 of the display unit of the smartphone 100, Execute the signal check step again.

상기 신호입력부는 영상신호를 획득하는 영상입력부(110) 또는 음성신호를 획득하는 음성인식부(120)를 사용한다.The signal input unit uses an image input unit 110 for acquiring a video signal or a voice recognition unit 120 for acquiring a voice signal.

특히, 상기 영상입력부(110)는 통상 카메라를 사용하여 제어부(130)의 얼굴인식 기능을 통해 제어부(130)가 사용자의 얼굴표정을 판단함으로써 사용자의 얼굴 위치를 정확히 판단할 수 있다.In particular, the image input unit 110 can accurately determine the face position of the user by determining the facial expression of the user through the facial recognition function of the control unit 130 using the normal camera.

상기 보정단계는 제어부(130)가 이진화 작업 전에 에러 등의 문제발생이 일어나는 사항을 확인하여 해당하는 신호를 보정한다.In the correction step, the control unit 130 confirms the occurrence of a problem such as an error before the binarization operation, and corrects the corresponding signal.

상기 이진화단계는 제어부(130)가 저장부에 저장된 데이터와 입력된 신호를 비교할 수 있도록 이진화 작업을 하는 것으로, 상기 이진화 작업 시 수신한 데이터의 위치, 배열, 시간순서를 구성방식에 맞추어 배치하는 것이다.In the binarization step, the control unit 130 performs a binarization operation so as to compare the data stored in the storage unit with the input signal, and arranges the position, arrangement, and time order of the received data in the binarization operation according to the configuration method .

상기 비교분석단계(132)는 제어부(130)가 영상입력부(110)를 통해 획득한 영상신호 또는 음성인식부(120)를 통해 획득한 음성신호에 해당하는 데이터를 저장부에 저장된 데이터와 비교하여 모의면접 결과데이터가 도출되는 것이다.The comparison and analysis step 132 compares data corresponding to the video signal acquired through the video input unit 110 or the voice signal acquired through the voice recognition unit 120 with the data stored in the storage unit, The simulated interview result data is derived.

상기 저장부는 스마트폰(100) 데이터저장부(160)를 사용하는 것으로, 상기 데이터저장부(160)에 저장된 데이터는 신호입력부를 통해 입력된 신호와 비교할 수 있는 비교데이터이다.The storage unit uses the smartphone 100 data storage unit 160 and the data stored in the data storage unit 160 is comparison data that can be compared with a signal input through the signal input unit.

상기 스마트폰(100)의 제어부(130)에 연결된 무선통신부(140)를 통해 서버(200) 데이터베이스(210)에 저장된 데이터를 수신하여 수신된 데이터가 제어부(130)로 인해 데이터저장부(160)에 데이터가 저장된다.The control unit 130 receives data stored in the database 200 through the wireless communication unit 140 connected to the controller 130 of the smartphone 100 and transmits the received data to the data storage unit 160, The data is stored.

상기 서버(200)의 데이터베이스(210)는 음성 테이블, 영상 테이블, 면접분석테이블 중 하나 이상의 테이블을 포함한다.The database 210 of the server 200 includes one or more tables of a voice table, an image table, and an interview analysis table.

상기 음성 테이블은 음성을 저장하는 테이블인 것으로, 행을 구분하는 코드번호와, 코드번호에 해당하는 면접문항과, 코드번호에 해당하는 면접문항에 대한 답변과, 코드번호에 해당하는 면접문항에 대한 음성 데이터로 구분되어 저장되는 것이다.The voice table is a table for storing a voice, and includes a code number for identifying a line, an interview item corresponding to the code number, an answer to the interview item corresponding to the code number, and an answer item for the interview item corresponding to the code number And is stored as voice data.

상기 영상 테이블은 영상을 저장하는 테이블인 것으로, 행을 구분하는 코드번호와, 코드번호에 해당하는 면접문항과, 코드번호에 해당하는 면접문항에 대한 답변과, 코드번호에 해당하는 영상 파일과, 상기 영상 파일에서 추출한 단위영상인 이미지로 구분되어 저장되는 것이다.The image table is a table for storing images, and includes a code number for identifying a row, an interview item corresponding to a code number, an answer to an interview item corresponding to the code number, an image file corresponding to the code number, And is stored as an image, which is a unit image extracted from the image file.

상기 면접분석테이블은 영상 데이터와 음성 데이터에 의해 도출된 모의면접 결과데이터를 통해 외부의 스마트폰(100)에서 검색할 수 있도록 미리 해당되는 모의면접 결과데이터에 대한 출력정보가 저장되어진 테이블인 것이다.The interview analysis table is a table in which the output information of the mock interview result data corresponding to the mock interview result data is retrieved from the external smartphone 100 through the mock interview result data derived by the image data and the voice data.

상기 비교분석단계(132)에서 도출되는 모의면접 결과데이터는 발음, 억양, 말하는 속도 등을 데이터로 변환한 음성신호 모의면접 결과데이터와, 얼굴 표정, 시선 등을 데이터로 도출한 영상신호 모의면접 결과데이터로 이루어지는 것이다.The simulated interview result data derived from the comparative analysis step 132 includes voice signal simulated interview result data obtained by converting pronunciation, intonation, speaking speed, etc. into data and video simulated interview result data obtained by data of facial expression, Data.

상기 음성신호 모의면접 결과데이터는 상기 제어부(130)가 음성인식부(120)에서 획득한 음성신호를 통해 저장부에 저장된 음성 데이터와 사용자의 음성신호 데이터를 비교하여 도출된다.The voice signal simulated interview result data is derived by comparing the voice data stored in the storage unit with voice signal data of the user through the voice signal obtained by the voice recognition unit 120 by the control unit 130. [

상기 제어부(130)가 영상입력부(110)에서 획득한 일정시간동안 촬영한 영상의 전체 영상신호를 모두 처리하기에는 분석하는 시간이 상당하게 소요되며, 소요시간을 단축 할 필요가 있다.It takes a considerable time to analyze all the image signals of the image captured by the control unit 130 for a predetermined time obtained by the image input unit 110, and it is necessary to shorten the time required.

그러므로 상기 영상신호 모의면접 결과데이터는 상기 제어부(130)가 음성인식부(110)를 통해 소리가 입력되는 순간에 영상입력부(110)에서 촬영한 전체 영상에서 일부 이미지 데이터만 추출하고, 상기 추출한 일부 이미지 데이터를 통해 눈, 코, 그리고 입의 위치를 확인하여 도출된다.Therefore, the image signal simulated interview result data is obtained by extracting only a part of the image data from the entire image captured by the image input unit 110 at the moment when the control unit 130 receives a sound through the voice recognition unit 110, It is derived from image data by checking the positions of eyes, nose, and mouth.

예를 들면, 상기 제어부(130)가 영상신호 모의면접 결과데이터 중 얼굴 표정과 시선을 판단할 시, 상기 제어부(130)는 추출된 이미지에서 입의 위치와 입꼬리의 위치를 통해 입꼬리의 상하위치(예를 들어 올라가 있는 상태인지, 아니면 내려간 상태인지)를 확인한다.For example, when the controller 130 determines facial expressions and line-of-sight data of the image signal simulated interview result data, the controller 130 controls the position of the mouth and the upper and lower positions of the mouth For example, ascending or descending).

그러므로 상기 제어부(130)는 눈꼬리 상하위치와 입꼬리의 상하위치에 대한 각각의 데이터를 통해, 웃고 있는지, 무표정한지 등의 얼굴표정을 판단할 수 있게 되고, 눈에서 동공의 위치가 중앙에서 어느 정도를 벗어난 상태인지 파악하여 시선의 위치를 판단할 수 있게 되어, 이를 데이터로 변환하여 도출하는 것이다.Therefore, the controller 130 can judge facial expressions such as whether it is laughing or not, through the respective data of the upper and lower positions of the eye tail and the upper and lower positions of the mouth, It is possible to judge the position of the line of sight by grasping whether it is off, and to convert it into data and to derive it.

상기 정보제공단계(133)는 제어부(130)가 획득한 모의면접 결과데이터를 통해 저장부에서 사용자가 부족한 부분을 검색하여, 검색된 출력정보가 스마트폰(100) 디스플레이부의 화면(150)에 출력되는 것이다.The information providing step 133 searches the lacking part of the user in the storage unit through the simulated interview result data obtained by the controller 130 and outputs the retrieved output information to the screen 150 of the display unit of the smartphone 100 will be.

상기 스마트폰(100) 디스플레이부의 화면(150)에는 영상입력부(110)를 통해 입력되는 영상을 표시하는 동영상표시창과, 모의면접 결과데이터를 제어부에 의해 분석되어 사용자에게 기준에 미치지 못한 데이터를 정보로 변환하여 표시하는 면접분석상태표시창과, 모의면접 결과데이터의 유사성을 사용자가 확인할 수 있도록 정보로 변환하여 표시하는 정확도표시창으로 이루어진다.The screen 150 of the display unit of the smartphone 100 displays a moving picture display window for displaying an image input through the image input unit 110 and a data analyzing unit for analyzing the simulated interview result data, And an accuracy display window for converting the similarity of the simulated interview result data into information for display by the user and displaying the result.

더욱 상세하게 설명하면, 상기 스마트폰(100)의 제어부(130)는 도출된 음성신호 모의면접 결과데이터인 발음, 억양, 또는 말하는 속도를 사용자가 확인할 수 있는 유사성 수치로 변환하여 화면(150)의 정확도표시창에 출력시킨다.More specifically, the control unit 130 of the smartphone 100 converts the pronunciation, intonation, or speaking rate of the voice signal simulated interview result data into a similarity value that can be confirmed by the user, Output to the accuracy display window.

이때, 상기 발음의 유사성 수치는 사용자가 내는 음성 데이터가 저장부에 저장된 음성 데이터에 비해 발음이 유사한 정도를 수치로 나타낸 것이며, 상기 억양의 유사성 수치는 사용자가 내는 음성 데이터가 저장부에 저장된 음성 데이터에 비해 목소리 톤 강세, 자음/모음 발음, 리듬의 유사한 정도를 수치로 나타낸 것이며, 상기 말하는 속도의 유사성 수치 사용자가 단어를 말하여 끝났을 때까지의 시간과, 저장부에 저장된 음성 데이터의 지정한 시간의 유사한 정도를 수치로 나타내는 것이다.In this case, the pronunciation similarity value is a numerical value indicating the degree of similarity of pronunciation with the voice data stored by the user in comparison with the voice data stored in the storage unit, and the similarity value of the intonation is the voice data And the similarity degree of the rhythm is expressed by a numerical value. The similarity between the speeds mentioned above and the time until the numerical user finishes speaking the word and the time of the voice data stored in the storage unit The similar degree is expressed in numerical value.

상기 유사성 수치의 범위는 0~100%인 것으로, 유사성이 100%에 가까울수록 동일한 유사성을 가진 것이며, 유사한 정도가 0%에 가까울수록 동일하지 않은 유사성을 가지는 것이다.The range of the similarity value is 0 to 100%. The closer the similarity is to 100%, the more similar the similarity is, and the closer the similarity is to 0%, the less similarity is.

단, 상기 스마트폰(100)의 제어부(130)는 유사성 판단 시 오차범위 내에서는 동일한 것으로 판단하며, 오차범위는 사용자의 설정에 의해 조절될 수 있다.However, the controller 130 of the smartphone 100 determines that the similarity is the same within the error range, and the error range can be adjusted by the setting of the user.

그리고 상기 스마트폰(100)의 제어부(130)는 모의면접 결과데이터를 비교분석하여 획득한 데이터를 통해 저장부에 저장된 모의면접 결과데이터를 요청한 후, 요청된 모의면접 결과데이터를 수신한 후 사용자가 확인 가능한 출력정보로 변환하여 면접분석상태표시창에 출력시킨다.The control unit 130 of the smartphone 100 requests the simulated interview result data stored in the storage unit through the data obtained by comparing and analyzing the simulated interview result data and then receives the requested simulated interview result data, And outputs it to the interview analysis status display window.

그리고 상기 스마트폰(100)의 제어부(130)는 영상입력부(110)를 통해 입력된 영상을 동영상표시창에 출력시킨다.The control unit 130 of the smartphone 100 outputs the image input through the image input unit 110 to the moving image display window.

따라서 본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법은 모의 면접을 통해 스마트폰으로 음성 및 영상 신호를 획득하고, 획득한 신호를 통해 데이터로 변환하여 서버의 데이터와 비교분석하여 면접에 필요한 발음, 말하는 속도, 얼굴 표정을 학습할 수 있도록 데이터베이스의 결과데이터를 통해 사용자에게 부족한 부분을 화면(150)으로 출력하여 사용자에게 보여주고 부족한 부분을 보완할 수 있도록 반복연습 시킴으로써 면접 시 자신감을 향상시키는 현저한 효과가 있다.Accordingly, the method for real-time interview recognition automatic recognition through the smartphone of the present invention can acquire voice and image signals through a smartphone through a mock interview, convert the data into data through the acquired signals, The user can display the missing part on the screen 150 through the result data of the database so as to learn the speaking speed and the facial expression, show it to the user, and repeat the practice so that the deficient part can be supplemented, thereby remarkably improving the confidence in the interview .

본 발명 스마트폰을 통한 면접 자동인식 실시간관리방법은 모의 면접을 통해 스마트폰으로 음성 및 영상 신호를 획득하고, 획득한 신호를 통해 데이터로 변환한 후, 변환된 데이터를 저장부의 데이터와 비교분석하여 면접에 필요한 발음, 억양, 말하는 속도, 얼굴 표정, 시선 등을 데이터로 도출한 모의면접 결과데이터를 통해 사용자에게 부족한 부분을 학습할 수 있도록 출력정보로 변환하여 디스플레이부의 화면상에 출력함으로써 사용자에게 부족한 부분을 보완할 수 있도록 반복연습 시키고, 반복연습을 통해 사용자의 면접 시 자신감을 향상시키는 현저한 효과가 있다.A method for real-time interview recognition automatic recognition through a smartphone of the present invention includes acquiring voice and image signals through a smart phone through a simulated interview, converting the acquired voice and image signals into data through a signal obtained, It is converted into output information so as to be able to learn the insufficient part through the mock interview result data derived from the data of the pronunciation, intonation, speaking speed, facial expression, gaze, etc. necessary for the interview and outputted on the screen of the display unit, There is a remarkable effect that it is repeatedly practiced so as to supplement the part, and self-confidence is improved when the user is interviewed through repeated practice.

100 : 스마트폰
110 : 영상입력부
120 : 음성인식부
130 : 제어부
131 : 신호처리단계 131-1 : 신호확인단계
131-2 : 보정단계 131-3 : 이진화단계
132 : 비교분석단계 133 : 정보제공단계
140 : 무선통신부
150 : 화면
160 : 데이터저장부
200 : 서버
210 : 데이터베이스100: Smartphone
110:
120:
130:
131: signal processing step 131-1: signal checking step
131-2: correction step 131-3: binarization step
132: comparative analysis step 133: information providing step
140:
150: Screen
160: Data storage unit
200: Server
210: Database

Claims (4)

스마트폰(100)의 제어부(130)가 사용자의 모의면접 시 신호입력부를 통해 입력되는 신호를 이진화 작업하여 데이터로 변환하는 신호처리단계(131); 상기 제어부(130)가 이진화 작업을 통해 변환된 데이터와 저장부에 저장된 데이터를 비교분석하여 모의면접 결과데이터를 도출하는 비교분석단계(132); 상기 제어부(130)가 모의면접 결과데이터를 통해 사용자에게 부족한 부분을 정보로 변환하여 디스플레이부의 화면(150)에 출력시키는 정보제공단계(133); 로 이루어지되,
상기 신호처리단계(131)는 제어부(130)가 신호입력부에서 입력되는 신호를 확인하는 신호확인단계; 제어부(130)가 확인된 신호를 보정하는 보정단계; 제어부(130)가 보정된 신호를 이진화하여 데이터로 변환하는 이진화단계; 로 이루어지며,
상기 정보제공단계(133)는 제어부(130)가 획득한 모의면접 결과데이터를 통해 저장부에서 사용자가 부족한 부분을 검색하여, 검색된 출력정보가 스마트폰(100) 디스플레이부의 화면(150)에 출력되는 스마트폰을 통한 면접 자동인식 실시간관리방법에 있어서,
상기 비교분석단계(132)는 제어부(130)가 신호입력부를 통해 획득한 영상신호 또는 음성신호에 해당하는 데이터를 저장부에 저장된 데이터와 비교하여 모의면접 결과데이터가 도출되는 것이며,
상기 스마트폰(100) 디스플레이부의 화면(150)에 사용자에게 모의면접 결과데이터를 정보로 변환하여 보여줌으로써 사용자의 면접 실력을 향상시키는 것이며,
상기 신호확인단계는 제어부(130)가 신호입력부의 신호를 확인하여 신호 확인이 실패할 시, 신호 인식 실패 메시지를 스마트폰(100) 디스플레이부의 화면(150)에 출력시키고, 새로 입력되는 신호를 통해 신호확인단계를 다시 실행하는 것이며,
상기 신호입력부는 영상신호를 획득하는 영상입력부(110) 또는 음성신호를 획득하는 음성인식부(120)를 사용하는 것으로, 상기 영상입력부(110)는 통상 카메라를 사용하여 제어부(130)의 얼굴인식 기능을 통해 제어부(130)가 사용자의 얼굴표정을 판단함으로써 사용자의 얼굴 위치를 정확히 판단할 수 있는 것이며,
상기 보정단계는 제어부(130)가 이진화 작업 전에 문제발생이 일어나는 사항을 확인하여 해당하는 신호를 보정하는 것이며,
상기 이진화단계는 제어부(130)가 저장부에 저장된 데이터와 입력된 신호를 비교할 수 있도록 이진화 작업을 하는 것으로, 상기 이진화 작업 시 수신한 데이터의 위치, 배열, 시간순서를 구성방식에 맞추어 배치하는 것이며,
상기 저장부는 스마트폰(100) 데이터저장부(160)를 사용하는 것으로, 상기 데이터저장부(160)에 저장된 데이터는 신호입력부를 통해 입력된 신호와 비교할 수 있는 비교데이터이며,
상기 스마트폰(100)의 제어부(130)에 연결된 무선통신부(140)를 통해 서버(200) 데이터베이스(210)에 저장된 데이터를 수신하여 수신된 데이터가 제어부(130)로 인해 데이터저장부(160)에 저장되고,
상기 서버(200)의 데이터베이스(210)는 음성 테이블, 영상 테이블, 면접분석테이블 중 하나 이상의 테이블을 포함하되,
상기 음성 테이블은 음성을 저장하는 테이블인 것으로, 행을 구분하는 코드번호와, 코드번호에 해당하는 면접문항과, 코드번호에 해당하는 면접문항에 대한 답변과, 코드번호에 해당하는 면접문항에 대한 음성 데이터로 구분되어 저장되는 것이며,
상기 영상 테이블은 영상을 저장하는 테이블인 것으로, 행을 구분하는 코드번호와, 코드번호에 해당하는 면접문항과, 코드번호에 해당하는 면접문항에 대한 답변과, 코드번호에 해당하는 영상 파일과, 상기 영상 파일에서 추출한 단위영상인 이미지로 구분되어 저장되는 것이며,
상기 면접분석테이블은 영상 데이터와 음성 데이터에 의해 도출된 모의면접 결과데이터를 통해 외부의 스마트폰(100)에서 검색할 수 있도록 미리 해당되는 모의면접 결과데이터에 대한 출력정보가 저장되는 것이며,
상기 비교분석단계(132)에서 도출되는 모의면접 결과데이터는 발음, 억양, 또는 말하는 속도를 데이터로 변환한 음성신호 모의면접 결과데이터와, 얼굴 표정 또는 시선을 데이터로 도출한 영상신호 모의면접 결과데이터로 이루어지는 것으로,
상기 음성신호 모의면접 결과데이터는 상기 제어부(130)가 음성인식부(120)에서 획득한 음성신호를 통해 저장부에 저장된 음성 데이터와 사용자의 음성신호 데이터를 비교하여 도출되는 것이며,
상기 영상신호 모의면접 결과데이터는 상기 제어부(130)가 음성인식부(110)를 통해 소리가 입력되는 순간에 영상입력부(110)에서 촬영한 전체 영상에서 일부 이미지 데이터만 추출하고, 상기 추출한 일부 이미지 데이터를 통해 눈, 코, 그리고 입의 위치를 확인하여 도출되는 것이며,
상기 제어부(130)는 영상신호 모의면접 결과데이터 중 얼굴 표정과 시선을 판단할 시, 추출된 이미지에서 입의 위치와 입꼬리의 위치를 통해 입꼬리의 상하위치를 확인하며, 눈꼬리 상하위치와 입꼬리의 상하위치에 대한 각각의 데이터를 통해 얼굴표정을 판단하며, 눈에서 동공의 위치가 중앙에서 어느 정도를 벗어난 상태인지 파악하여 시선의 위치를 판단함으로써, 각각의 판단된 정보를 통해 데이터로 변환하여 도출하는 것이며,
상기 스마트폰(100) 디스플레이부의 화면(150)에는 영상입력부(110)를 통해 입력되는 영상을 표시하는 동영상표시창과, 모의면접 결과데이터를 제어부에 의해 분석되어 기준에 미치지 못한 데이터를 정보로 변환하여 표시하는 면접분석상태표시창과, 모의면접 결과데이터의 유사성을 정보로 변환하여 표시하는 정확도표시창으로 이루어지고,
상기 스마트폰(100)의 제어부(130)는 도출된 음성신호 모의면접 결과데이터인 발음, 억양, 또는 말하는 속도를 사용자가 확인할 수 있는 유사성 수치로 변환하여 화면(150)의 정확도표시창에 출력시키되,
상기 발음의 유사성 수치는 사용자가 내는 음성 데이터가 저장부에 저장된 음성 데이터에 비해 발음이 유사한 정도를 수치로 나타낸 것이며, 상기 억양의 유사성 수치는 사용자가 내는 음성 데이터가 저장부에 저장된 음성 데이터에 비해 목소리 톤 강세, 자음/모음 발음, 리듬의 유사한 정도를 수치로 나타낸 것이며, 상기 말하는 속도의 유사성 수치 사용자가 단어를 말하여 끝났을 때까지의 시간과, 저장부에 저장된 음성 데이터의 지정한 시간의 유사한 정도를 수치로 나타내는 것으로,
상기 유사성 수치의 범위는 0~100%인 것으로, 유사성이 100%에 가까울수록 동일한 유사성을 가진 것이며, 유사한 정도가 0%에 가까울수록 동일하지 않은 유사성을 가지는 것이며,
상기 스마트폰(100)의 제어부(130)는 유사성 판단 시 오차범위 내에서는 동일한 것으로 판단하며, 상기 오차범위는 사용자의 설정에 의해 조절될 수 있으며,
상기 스마트폰(100)의 제어부(130)는 모의면접 결과데이터를 비교분석하여 획득한 데이터를 통해 저장부에 저장된 모의면접 결과데이터를 요청한 후, 요청된 모의면접 결과데이터를 수신하여 상기 결과데이터를 사용자가 확인 가능한 출력정보로 변환하여 면접분석상태표시창에 출력시키는 것이며,
상기 스마트폰(100)의 제어부(130)는 영상입력부(110)를 통해 입력된 영상을 동영상표시창에 출력시키는 것을 특징으로 하는 스마트폰을 통한 면접 자동인식 실시간관리방법
A signal processing step (131) of converting the signal input through the signal input unit into binary data and converting the signal into data when the control unit (130) of the smartphone (100) A comparative analysis step (132) of comparing and analyzing the data converted through the binarization operation and the data stored in the storage unit and deriving the simulated interview result data; An information providing step (133) of converting the insufficient parts to the user through the simulated interview result data and outputting the information to the display part (150) of the display part (130); Lt; / RTI >
The signal processing step 131 includes a signal checking step of checking a signal inputted from the signal input unit by the control unit 130; A correction step of causing the control unit (130) to correct the identified signal; A binarization step of binarizing and converting the corrected signal into data; Lt; / RTI >
The information providing step 133 searches the lacking part of the user in the storage unit through the simulated interview result data obtained by the controller 130 and outputs the retrieved output information to the screen 150 of the display unit of the smartphone 100 A method for real-time management of automatic recognition of an interview through a smart phone,
The comparative analysis step 132 compares the data corresponding to the video signal or the voice signal acquired by the control unit 130 through the signal input unit with the data stored in the storage unit to derive the simulated interview result data,
And displays the simulated interview result data to the user on the screen 150 of the display unit of the smartphone 100 to improve the interview ability of the user,
In the signal checking step, when the control unit 130 confirms the signal of the signal input unit and fails to check the signal, a signal recognition failure message is output to the screen 150 of the display unit of the smartphone 100, The signal verification step is performed again,
The signal input unit 110 uses an image input unit 110 to acquire a video signal or a voice recognition unit 120 to acquire a voice signal. The image input unit 110 typically uses a camera to recognize a face of the controller 130 The control unit 130 can determine the facial expression of the user through the function,
In the correction step, the control unit 130 confirms the occurrence of a problem before the binarization operation and corrects the corresponding signal,
In the binarization step, the control unit 130 performs a binarization operation so as to compare the data stored in the storage unit with the input signal, and arranges the position, arrangement, and time order of the received data in the binarization operation according to the configuration method ,
The storage unit uses the smartphone 100 data storage unit 160. The data stored in the data storage unit 160 is comparison data that can be compared with a signal input through the signal input unit,
The control unit 130 receives data stored in the database 200 through the wireless communication unit 140 connected to the controller 130 of the smartphone 100 and transmits the received data to the data storage unit 160, Lt; / RTI >
The database 210 of the server 200 includes one or more tables of a voice table, an image table, and an interview analysis table,
The voice table is a table for storing a voice, and includes a code number for identifying a line, an interview item corresponding to the code number, an answer to the interview item corresponding to the code number, and an answer item for the interview item corresponding to the code number Voice data,
The image table is a table for storing images, and includes a code number for identifying a row, an interview item corresponding to a code number, an answer to an interview item corresponding to the code number, an image file corresponding to the code number, And the image data is divided into an image, which is a unit image extracted from the image file,
The interview analysis table stores output information of the mock interview result data corresponding to the mock interview result data, which can be searched by the external smartphone 100 through the mock interview result data derived by the image data and the voice data,
The simulated interview result data derived in the comparative analysis step 132 may include speech signal simulated interview result data obtained by converting pronunciation, intonation, or speaking speed into data, and simulated interview result data of a video signal derived from face expression or gaze data In this case,
The voice signal simulation interview result data is derived by comparing the voice data stored in the storage unit with voice signal data of the user through the voice signal obtained by the voice recognition unit 120 by the control unit 130,
The image signal simulated interview result data is obtained by extracting only a part of the image data from the entire image captured by the image input unit 110 at the moment when the control unit 130 inputs a sound through the voice recognition unit 110, The data is derived from the location of the eyes, nose, and mouth,
The controller 130 checks the position of the mouth and the position of the mouth of the mouth in the extracted image to determine the position of the mouth of the mouth when determining the facial expression and the gaze of the image data of the simulated image signal, The facial expression is determined through the respective data on the position, the position of the eye line is determined by grasping the position of the pupil in the eye from the center to some extent, and the data is converted into data through the respective determined information Lt; / RTI &
The screen 150 of the display unit of the smartphone 100 is provided with a moving picture display window for displaying an image input through the image input unit 110 and data of the simulated interview result analyzed by the control unit, And an accuracy display window for displaying similarity between simulated interview result data and converting the information into information,
The control unit 130 of the smartphone 100 converts the pronunciation, intonation, or speaking speed of the obtained voice signal simulated interview result data into similarity values that can be confirmed by the user and outputs the similarity values to the accuracy display window of the screen 150,
The similarity value of the pronunciation is a numerical value of the degree of similarity of pronunciation compared with the speech data stored in the storage unit of the user, and the similarity value of the intention is such that the speech data of the user is compared with the speech data stored in the storage unit A similarity degree of the above-mentioned speed similarity between the time until the numerical user finishes speaking a word and the similarity degree of the specified time of the voice data stored in the storage unit As a numerical value,
The range of the similarity value is 0 to 100%. The closer the similarity is to 100%, the more similar the similarity. The closer the similarity is to 0%, the less similarity is.
The control unit 130 of the smartphone 100 determines that the similarity is the same within the error range, and the error range can be adjusted by the setting of the user,
The control unit 130 of the smartphone 100 requests the simulated interview result data stored in the storage unit through the data obtained by comparing and analyzing the simulated interview result data and then receives the requested simulated interview result data and outputs the result data The user is converted into verifiable output information and output to the interview analysis status display window,
The controller 130 of the smartphone 100 outputs the image input through the image input unit 110 to the moving image display window.
삭제delete 삭제delete 삭제delete
KR1020160049027A 2016-04-22 2016-04-22 interview auto recognizetion real-time management method by smart phone KR101747712B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160049027A KR101747712B1 (en) 2016-04-22 2016-04-22 interview auto recognizetion real-time management method by smart phone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160049027A KR101747712B1 (en) 2016-04-22 2016-04-22 interview auto recognizetion real-time management method by smart phone

Publications (1)

Publication Number Publication Date
KR101747712B1 true KR101747712B1 (en) 2017-06-16

Family

ID=59278534

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160049027A KR101747712B1 (en) 2016-04-22 2016-04-22 interview auto recognizetion real-time management method by smart phone

Country Status (1)

Country Link
KR (1) KR101747712B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984283B1 (en) * 2017-11-22 2019-05-30 주식회사 제네시스랩 Automated Target Analysis System Using Machine Learning Model, Method, and Computer-Readable Medium Thereof
KR20190118140A (en) 2018-04-09 2019-10-17 주식회사 마이다스아이티 Interview automation system using online talent analysis
KR20200008838A (en) 2018-07-17 2020-01-29 김하륜 Method and apparatus for providing virtual interview
CN113095165A (en) * 2021-03-23 2021-07-09 北京理工大学深圳研究院 Simulation interview method and device for perfecting interview performance

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375119B1 (en) * 2013-09-02 2014-03-17 주식회사 코엘소프트 Virtual interview mothod and mobile device readable recording medium for executing application recorded the method
KR101608822B1 (en) * 2013-11-29 2016-04-04 고려대학교 산학협력단 Face Recognition Method and System for Intelligent Surveillance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375119B1 (en) * 2013-09-02 2014-03-17 주식회사 코엘소프트 Virtual interview mothod and mobile device readable recording medium for executing application recorded the method
KR101608822B1 (en) * 2013-11-29 2016-04-04 고려대학교 산학협력단 Face Recognition Method and System for Intelligent Surveillance

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984283B1 (en) * 2017-11-22 2019-05-30 주식회사 제네시스랩 Automated Target Analysis System Using Machine Learning Model, Method, and Computer-Readable Medium Thereof
KR20190118140A (en) 2018-04-09 2019-10-17 주식회사 마이다스아이티 Interview automation system using online talent analysis
KR20200008838A (en) 2018-07-17 2020-01-29 김하륜 Method and apparatus for providing virtual interview
KR102187125B1 (en) * 2018-07-17 2020-12-04 김하륜 Method and apparatus for providing virtual interview
CN113095165A (en) * 2021-03-23 2021-07-09 北京理工大学深圳研究院 Simulation interview method and device for perfecting interview performance

Similar Documents

Publication Publication Date Title
US10438586B2 (en) Voice dialog device and voice dialog method
CN108075892B (en) Voice processing method, device and equipment
US10706738B1 (en) Systems and methods for providing a multi-modal evaluation of a presentation
CN110782921B (en) Voice evaluation method and device, storage medium and electronic device
US9754503B2 (en) Systems and methods for automated scoring of a user's performance
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
KR101747712B1 (en) interview auto recognizetion real-time management method by smart phone
CN109766759A (en) Emotion identification method and Related product
US20130054240A1 (en) Apparatus and method for recognizing voice by using lip image
CN112183334B (en) Video depth relation analysis method based on multi-mode feature fusion
US20210224752A1 (en) Work support system and work support method
US20200194003A1 (en) Meeting minute output apparatus, and control program of meeting minute output apparatus
CN112148922A (en) Conference recording method, conference recording device, data processing device and readable storage medium
CN108109445B (en) Teaching course condition monitoring method
CN109410984B (en) Reading scoring method and electronic equipment
CN109003600B (en) Message processing method and device
JP7204337B2 (en) CONFERENCE SUPPORT DEVICE, CONFERENCE SUPPORT SYSTEM, CONFERENCE SUPPORT METHOD AND PROGRAM
CN113301382B (en) Video processing method, device, medium, and program product
CN111611973B (en) Target user identification method, device and storage medium
CN110443122B (en) Information processing method and related product
CN110111778B (en) Voice processing method and device, storage medium and electronic equipment
US11404064B2 (en) Information processing apparatus and speech analysis method
CN109087694B (en) Method for helping students to exercise bodies and family education equipment
JP6285377B2 (en) Communication skill evaluation feedback device, communication skill evaluation feedback method, and communication skill evaluation feedback program
CN107203647B (en) Student information acquisition method and device based on biological characteristics

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant