KR20150044495A - 음성인식 기반의 가상 면접 처리 시스템 및 방법 - Google Patents

음성인식 기반의 가상 면접 처리 시스템 및 방법 Download PDF

Info

Publication number
KR20150044495A
KR20150044495A KR20130123386A KR20130123386A KR20150044495A KR 20150044495 A KR20150044495 A KR 20150044495A KR 20130123386 A KR20130123386 A KR 20130123386A KR 20130123386 A KR20130123386 A KR 20130123386A KR 20150044495 A KR20150044495 A KR 20150044495A
Authority
KR
South Korea
Prior art keywords
word
question
unit
interview
extracting
Prior art date
Application number
KR20130123386A
Other languages
English (en)
Other versions
KR101519591B1 (ko
Inventor
이돈원
Original Assignee
(주)컴버스테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)컴버스테크 filed Critical (주)컴버스테크
Priority to KR1020130123386A priority Critical patent/KR101519591B1/ko
Publication of KR20150044495A publication Critical patent/KR20150044495A/ko
Application granted granted Critical
Publication of KR101519591B1 publication Critical patent/KR101519591B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G06Q10/1053—Employment or hiring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 음성인식 기반의 가상 면접 처리 시스템 및 방법에 관한 것으로서, 가상 면접의 질문에 대응하여 입력된 음향신호에 대하여, 음성 인식부가 추출한 단어로부터 발음정확도를 평가하고, 단어 선택부가 질문의 질문 키워드에 근거하여 추출한 단어의 연관어를 검색 및 추출하고, 질문 추출부가 질문 키워드 및 연관어에 근거하여 면접 평가를 수행함과 아울러 다음 질문 정보를 선택하여 출력함으로써, 실질 면접과 유사하거나 동일한 현장감을 느낄 수 있을 뿐 아니라, 가상 면접 중에 실질적으로 사용자 단말 조작이 이루어지지 않으므로 가상 면접에 집중할 수 있으며, 지원자의 편의성을 향상시킬 수 있다.

Description

음성인식 기반의 가상 면접 처리 시스템 및 방법{SYSTEM AND METHOD FOR PROCESSING VIRTUAL INTERVIEW BASED SPEECH RECOGNITION}
본 발명은 가상 면접 처리 시스템 및 방법에 관한 것으로, 더욱 상세하게는 음성인식을 기반으로 하여 면접 흐름을 자동 제어하는 음성인식 기반의 가상 면접 처리 시스템 및 방법에 관한 것이다.
취업이나 입시 등과 관련한 면접은 해당 시험만큼 중요한 과정 중의 하나이다. 이는 면접을 통해 면접자와 피면접자(이하, "지원자"라 함)가 인성 및 사고 등을 파악하거나 피력할 수 있기 때문이다. 이에 지원자들은 다양한 형태로 면접을 준비하게 된다.
이러한 면접의 중요성으로 인해, 지원자들은 학원 등에서 면접에 대한 강의를 듣거나 가상으로 면접을 연습하고 있다.
그러나, 이러한 오프라인 상에서 이루어지는 가상 면접은, 지원자들에게 다양한 방식 및 많은 시간과 연습을 할애하지 못하는 단점을 가지고 있다. 결국, 선배들로부터 혹은 면접에 관련된 서적 등을 통하여 막연하게 면접을 준비하는 경우가 많다.
이에, 이러한 단점을 보완하고자 온라인 상으로 가상 면접 서비스를 제공하는 방안이 제시된 바 있다.
온라인 상으로 제공되는 가상 면접 서비스는 다양한 방식으로 많은 시간을 할애하면서 면접을 가상으로 실시할 수 있으므로, 면접을 준비하는 지원자들에게 많은 도움을 줄 수 있다.
그런데, 이 방식은 네트워크를 통해 접속된 단말을 통해 가상 면접이 이루어지게 되므로, 면접 과정 중에 지원자에 의한 단말 조작이 필요하게 되며, 이러한 단말 조작은 가상 면접에 집중하는데 방해 요소로서 작용하고 있다. 그리고, 가상 면접 서비스의 진행과정이 단계별로 구획되어 있기 때문에, 각 단계에서 지원자의 단말 조작을 필요로 하게 된다. 이에 현장에서 실질적으로 이루어지는 면접과 같이 가상 면접 서비스에서도 자연스로운 진행방안이 필요하다 할 것이다.
또한, 온라인 상에서 이루어지는 가상 면접은, 지원자의 답변과는 전혀 상관없이 가상 면접 프로그램에 의해 미리 정해진 순서에 따라 질문이 이루어지므로 질문과 답변의 다양성 추구에 한계가 있다. 이와 같이 기존 온라인 상에서 이루어지는 가상 면접은 다양한 형태의 면접 유형을 연습하는데 한계가 있을 뿐 아니라, 현장감이 떨어지는 단점을 가지고 있다. 여기서, 현장감은 지원자의 답변과 관련하여 돌발적으로 다양한 종류의 질문이 이루어질 수 있는 경우를 포함한다.
이와 같이 업종별로 분리된 면접의 종류가 일정하게 세팅됨으로 인해, 단순하게 반복되는 면접은 실질적으로 지원자에게 도움이 되지 않을 수 있다.
한편, 면접시 짧은 시간동안에 이루어지는 답변의 논지도 중요하지만, 의미전달이 명쾌하게 전달되기 위해서는 발음의 정확성도 매우 중요한 요소 중의 하나이다. 그런데, 지원자의 답변에 대하여 발음정확도에 대한 평가가 이루어지는 기술에 대해서는 아직까지 제시되지 않고 있다.
대한민국 공개특허공보 제10-2001-0000648호(공개일 2001.01.05.) 대한민국 공개특허공보 제10-2002-0084564호(공개일 2002.11.09.)
따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 음성인식을 기반으로 답변에서 추출된 단어의 연관어로부터 질문 정보를 실시간 추출하여 면접 흐름을 자동으로 제어하고, 이러한 답변에 기초하여 발음정확도를 평가함으로써, 단말을 이용하여 가상 면접을 실시하는 지원자가 가상 면접에 집중할 수 있을 뿐 아니라, 현장감을 갖는 다양한 유형의 가상 면접이 가능할 수 있도록 하는 음성인식 기반의 가상 면접 처리 시스템 및 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 음성인식 기반의 가상 면접 처리 시스템은, 가상 면접의 질문에 대응하여 입력된 음향으로부터 음향신호를 출력하는 마이크; 음성인식을 통해 변환된 텍스트 데이터로부터 발음정확도를 평가하고, 질문 키워드에 근거하여 답변 단어의 연관어를 검색하여 다음 질문 정보를 추출함과 아울러 면접 평가를 수행하는 제어부; 상기 제어부의 제어에 의해 다음 질문 정보 및 평가 결과들을 출력하는 출력부; 및 질문 정보를 저장하고 있으며, 평가 결과들을 포함한 면접 과정을 저장하는 저장부를 포함하는 것을 특징으로 한다.
상기 제어부는, 상기 음향신호로부터 음성을 인식하여 텍스트 데이터로 변환하고, 상기 텍스트 데이터의 단어여부 검증을 통해 발음정확도를 평가하는 음성 인식부; 상기 질문 키워드에 근거하여 단어의 필터링을 수행하고, 필터링된 단어의 연관어를 추출하는 단어 선택부; 상기 질문 키워드와 상기 연관어의 답변 유사도를 평가하여 질문의 방향을 설정하여 상기 다음 질문 정보를 추출하는 질문 추출부; 추출된 다음 질문에 대한 메시지를 포함하는 영상을 생성하여 출력하는 영상 출력부; 및 추출된 다음 질문에 대한 음성을 생성하여 출력하는 음성 출력부를 포함한다.
상기 음성 인식부는, 음성특징을 저장하고 있는 음성특징 저장부; 상기 음성특징과의 비교를 통해 상기 음향신호로부터 음성특징을 추출하는 음성특징 추출부; 상기 음성특징 추출부에서 추출된 음성특징과 상기 음성특징 저장부에 저장된 음성특징과의 비교를 통해 음성을 추출하는 음성 추출부; 추출된 음성을 텍스트 데이터로 변환하는 텍스트화부; 텍스트 데이터의 단어여부를 검증하는 단어 검증부; 및 단어여부 검증정도에 따라 발음정확도를 판단하는 발음정확도 평가부를 포함한다.
상기 단어 선택부는, 상기 음성 인식부로부터 제공된 단어에 대하여, 상기 질문 키워드에 근거하여 상기 단어를 필터링하는 단어 필터링부; 필터링된 단어의 연관어를 검색하는 연관어 검색부; 및 검색된 연관어들 중에서 미리 설정된 유사도가 가장 높은 연관어를 적어도 하나 이상 추출하는 연관어 추출부를 포함한다.
상기 질문 추출부는, 상기 단어 선택부로부터 전달된 연관어에 대하여 상기 질문 키워드에 근거하여 지원자의 답변에 대한 면접 평가를 수행하는 면접 평가부; 면접 평가에 근거하여 유사 질문 또는 상이 질문의 방향을 설정하는 질문 방향 설정부; 질문 방향 설정에 대응하여 연관어에 링크된 질문을 선택하는 질문 선택부; 및 선택된 질문에 대한 영상 및 음성 출력 여부를 선택하는 영상/음성 출력선택부를 포함한다.
한편, 본 발명의 음성인식 기반의 가상 면접 처리 방법은, (a) 가상 면접의 질문에 대응하여 입력된 음향신호에 대하여, 음성 인식부가 추출한 단어로부터 발음정확도를 평가하는 단계; (b) 단어 선택부가 상기 질문의 질문 키워드에 근거하여 상기 추출한 단어의 연관어를 검색 및 추출하는 단계; 및 (c) 질문 추출부가 상기 질문 키워드 및 연관어에 근거하여 면접 평가를 수행함과 아울러 다음 질문 정보를 선택하여 출력하는 단계를 포함하는 것을 특징으로 한다.
상기 단계 (a)는, 상기 추출한 단어에 대하여 단어 검증부에서 단어여부를 검증하는 단계; 및 상기 단어여부의 검증값에 따라 발음정확도 평가부에서 상기 발음정확도를 판단하는 단계를 포함한다.
상기 단계 (b)는, 상기 음성 인식부로부터 제공된 단어에 대하여, 단어 필터링부에서 상기 질문 키워드에 근거하여 상기 단어를 필터링하는 단계; 필터링된 단어에 대하여 연관어 검색부에서 연관어를 검색하는 단계; 및 연관어 추출부에서 검색된 연관어들 중에서 미리 설정된 유사도가 가장 높은 연관어를 적어도 하나 이상 추출하는 단계를 포함한다.
상기 단계 (c)는, 상기 단어 선택부로부터 전달된 연관어에 대하여, 면접 평가부에서 상기 질문 키워드에 근거하여 지원자의 답변에 대한 면접 평가를 수행하는 단계; 면접 평가에 근거하여 질문 방향 설정부에서 유사 질문 또는 상이 질문의 방향을 설정하는 단계; 질문 방향 설정에 대응하여 질문 선택부에서 연관어에 링크된 질문을 선택하는 단계; 및 선택된 질문에 대하여 영상/음성 출력선택부에서 영상 및 음성 출력 여부를 선택하는 단계를 포함한다.
상술한 바와 같이, 본 발명에 의한 음성인식 기반의 가상 면접 처리 시스템 및 방법에 따르면, 답변을 통해 추출된 단어와 관련된 질문 정보를 실시간으로 추출하므로 실질 면접과 유사하거나 동일한 현장감을 느낄 수 있다.
또한 본 발명에 따르면, 면접 흐름이 연관어를 통해 제어되므로 지원자가 다양한 유형의 가상 면접을 경험할 수 있도록 할 수 있다.
또한, 본 발명에 따르면, 가상 면접 중에 실질적으로 사용자 단말 조작이 이루어지지 않으므로 가상 면접에 집중할 수 있을 뿐 아니라, 지원자의 편의성을 향상시킬 수 있다.
그리고, 본 발명에 따르면, 발음의 정확도를 평가함으로써 발음 연습 및 언어 습관 판단을 위한 용도로도 활용될 수 있다.
도 1은 본 발명의 일 실시예에 의한 음성인식 기반의 가상 면접 처리 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 의한 제어부의 구성도이다.
도 3은 본 발명의 일 실시예에 의한 음성 인식부의 구성도이다.
도 4는 본 발명의 일 실시예에 의한 단어 선택부의 구성도이다.
도 5는 본 발명의 일 실시예에 의한 질문 추출부의 구성도이다.
도 6은 본 발명의 일 실시예에 의한 음성인식 기반의 가상 면접 처리 방법의 흐름도이다.
이하, 본 발명의 음성인식 기반의 가상 면접 처리 시스템 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
한편, 도면의 도시에 있어 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있으며, 명세서 전체를 통하여 동일한 부분에 대해서는 동일 도면 부호를 부여할 수 있다. 그리고, 명세서 전체에서, 동일하게 반복되는 구성에 대해서는 중복되는 설명을 생략할 수 있다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "구비" 또는 "구성"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "~부", "~기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 기억장치를 구비한 하드웨어나 소프트웨어, 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 의한 음성인식 기반의 가상 면접 처리 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 음성인식 기반의 가상 면접 처리 시스템은, 음향을 입력받아 음향신호를 출력하는 마이크(1)와, 음성인식을 통해 변환된 텍스트 데이터로부터 발음정확도를 평가하고, 질문 키워드에 근거하여 답변 단어의 연관어를 검색하여 다음 질문 정보를 추출함과 아울러 면접 평가를 수행하는 제어부(2)와, 제어부(2)의 제어에 의해 다음 질문 정보 및 평가 결과들을 영상출력하는 디스플레이(3)와, 제어부(2)의 제어에 의해 다음 질문 정보 및 평가 결과들을 음향출력하는 스피커(4)와, 질문 정보를 저장하고 있으며, 평가 결과들을 포함한 면접 과정을 저장하는 저장부(5)를 포함한다.
본 발명의 음성인식 기반의 가상 면접 처리 시스템은, 사용자 단말 단독으로 구성되거나, 사용자 단말 및 서버로 구성될 수 있다. 또한, 본 발명의 음성인식 기반의 가상 면접 처리 시스템은, 사용자 조작을 지원하는 사용자 조작부(미도시)를 더 포함할 수 있다.
한편, 본 발명의 음성인식 기반의 가상 면접 처리 시스템이 사용자 단말 및 서버로 구성될 경우에는, 사용자 단말과 서버간의 인터넷 등을 포함한 네트워크를 통해 가상 면접을 수행할 수 있다. 네트워크를 통한 가상 면접의 경우, 마이크(1), 디스플레이(3), 스피커(4)는 사용자 단말에 포함되며, 제어부(2) 및 저장부(5)는 서버에 포함되는 것이 바람직하며, 이에 사용자 단말에서 음향신호를 서버로 전달하면, 서버는 음성인식을 통해 질문 정보 추출 등을 포함한 면접 흐름을 자동 제어한다.
도 2는 본 발명의 일 실시예에 의한 제어부의 구성도이다.
도 2를 참조하면, 본 발명의 제어부(2)는, 음향신호로부터 음성을 인식하여 텍스트 데이터로 변환하고, 텍스트 데이터의 단어여부 검증을 통해 발음정확도를 평가하는 음성 인식부(21)와, 질문 키워드에 근거하여 단어의 필터링을 수행하고, 필터링된 단어의 연관어를 추출하는 단어 선택부(22)와, 질문 키워드와 연관어의 답변 유사도를 평가하여 질문의 방향을 설정하여 다음 질문을 추출하는 질문 추출부(23)와, 추출된 다음 질문에 대한 메시지 등을 포함하는 영상을 생성하여 출력하는 영상 출력부(24)와, 추출된 다음 질문에 대한 음성을 생성하여 출력하는 음성 출력부(25)를 포함한다.
여기서, 영상 출력부(24) 및 음성 출력부(25)는 선택적으로 제어를 통해 질문이 함께 출력되거나 어느 하나만 출력될 수 있다.
도 3은 본 발명의 일 실시예에 의한 음성 인식부의 구성도이다.
도 3을 참조하면, 본 발명의 음성 인식부(21)는, 음성특징을 저장하고 있는 음성특징 저장부(211)와, 음성특징 저장부(211)에 저장된 음성특징과의 비교를 통해 음향신호로부터 음성특징을 추출하는 음성특징 추출부(212)와, 음성특징 추출부(212)에서 추출된 음성특징과 음성특징 저장부(211)에 저장된 음성특징과의 비교를 통해 음성을 추출하는 음성 추출부(213)와, 추출된 음성을 텍스트 데이터로 변환하는 텍스트화부(214)와, 텍스트 데이터의 단어여부를 검증하는 단어 검증부(215)와, 단어여부 검증값에 따라 발음정확도를 판단하는 발음정확도 평가부(216)를 포함한다.
여기서, 음성특징 추출부(212)는 확률 밀도 함수(Probability Density Function) 및 다이나믹 타임 워프(Dynamic Time Warping)를 수행하고, 음성 추출부(213)는 특정 요소에 대한 팩터(factor)별 가중치를 적용하여 음성특징간 비교를 수행한다. 여기서, 확률 밀도 함수를 수행한다는 것은, 지원자의 음성특징 저장부(211)에 저장된 음성특징과 비교하여 확률 밀도 함수로 표현하는 것을 의미한다. 또한, 다이나믹 타임 워프는 템플릿 기반의 패턴 매칭 방법을 이용하여 음성을 인식하는 방법으로서 다이나믹 타임 워프를 이용한 음성인식 시스템은 화자종속 고립어 인식시스템 구성에 주로 이용된다.
한편, 음성특징은 음성, 음향학적인 분석 요소들을 의미하는 것으로, 음의 길이(duration), 음의 에너지(energy), 피치(pitch), 모음의 구성음소 즉, 포만트(formant), RFC(Rising Falling Connection)/Tilt, 스펙트럼(Spectrum), VOT(Voice Onset Time) 등이며, 이는 수치 데이터와 패턴 데이터로 구분된다. 수치 데이터는 수치적인 데이터로서, 이로부터 평균과 표준편차 등의 통계치를 이용하여 확률 밀도 함수를 수행함으로써 소정의 평가치를 산출하게 되고, 확률 밀도 함수를 통해 산출되는 평가치는 확률 밀도 함수를 수행한 각각의 결과에 대한 것으로서 비분절적 특성에 대한 결과일 수도 있고, 분절적 특성에 대한 결과일 수도 있다. 이는 확률적인 평가방법으로 데이터의 수치 그 자체가 중요한 의미를 갖는다 할 것이다. 또한, 패턴 데이터는 전체 문장의 인토네이션 등을 의미하는 것으로, 이는 수치값으로 표현되는 것이 아니라 어느 곳에서 억양이 올라가고(rising), 어느 곳에서 내려가는(falling) 것인지 등 발음의 형태, 성향 및 순서 등이 중심이 되는 데이터이며, 이는 다이나믹 타임 워프 방식으로 비교할 수 있다. 이때 다이나믹 타임 워프 방식은 시간적 변동을 고려하는 대상 패턴들에 관한 비교 평가 방법을 나타낸다.
이에, 음성특징 저장부(211)는 음성특징에 대한 통계치가 분절적, 비분적절 항목으로 구분되어 저장되어 있으며, 원어민 및 표준어의 특징 데이터 통계DB는 표준에 가장 가까운 발음을 하는 원어민 및 표준어의 특징 데이터들에 대한 통계치가 분절적, 비분절적 항목으로 구분되어 저장되어 있다. 또한, 특징 데이터들의 이론치 DB에는 학계에서 검증을 받거나 상식적으로 보편화되어 있는 특징 데이터들의 이론치가 분절적, 비분절적 항목으로 구분되어 저장되어 있다. 이때, 특징 데이터들의 이론치는, 예를 들어 파열음은 일반적으로 어떠한 특징을 갖고 있는지를 말하는 것으로 분절적, 비분절적 특성 요소에 대한 부분을 모두 포함하고 있다.
한편, 발음정확도 평가부(216)에서는, 특징 데이터의 수치 데이터에 대해서 확률 밀도 함수를 수행하여 가상 면접 지원자의 발음에 대한 소정 요소(음의 세기, 피치 등)의 수치가 얼마나 원어민 및 표준어의 소정 요소에 근접해 있는지 비교하고, 패턴 데이터에 대해서는 다이나믹 타임 워프를 수행하여 가상 면접 지원자의 억양 등이 원어민 및 표준어의 억양 등과 얼마나 유사한지를 비교하며, 가상 면접 지원자의 특징 데이터, 특징 데이터의 이론치 및 가상 면접 지원자의 발음 분석 자료를 근간으로 각 분절적, 비분절적 경향 및 중요도를 산출하여 각 요소에 대한 팩터별 가중치를 유추하고 적용하는 역할을 수행한다.
가상 면접 지원자 발음의 수치데이터 및 원어민 및 표준어의 특징 데이터 DB의 통계치에 대한 확률 밀도 함수를 수행함으로써, 가상 면접 지원자의 발음 중 수치로 표현될 수 있는 소정의 요소에 대해 그 수치가 원어민 및 표준어의 수치에 얼마나 근접해 있는가를 알 수 있게 된다. 즉, 통계적으로 현재 발음에 대한 어떤 음소의 어떤 특징은 원어민 및 표준어와 70% 유사하다는 등의 판단이 가능하게 되는 것이다.
또한, 가상 면접 지원자 발음의 패턴 데이터는 저장되어 있는 원어민 및 표준어의 음성 데이터로부터 추출된 패턴 데이터들과 다이나믹 타임 워프를 수행함으로써 그 평가치를 산출할 수 있다. 패턴 데이터는 상술한 바와 같이 분절적 요소의 억양, 틸트(tilt) 등을 의미하는 것이며, 다이나믹 타임 워프는 패턴 데이터를 비교할 수 있는 방법으로 시간적 변동을 고려하여 대상 패턴들의 비교값을 산출할 수 있는 비교 논리를 나타낸다. 즉, 다이나믹 타임 워프는 어떤 선형적인 데이터를 보강하고 정규화하여 비교하는 것으로, 이는 비교되는 양 패턴 데이터가 얼마나 유사한 양상을 가지고 있는 지를 수치적인 값으로 표시하게 된다.
이와 같이 가상 면접 지원자 발음에 대한 특징 데이터 즉, 수치 데이터 및 패턴 데이터에 대해 각각 확률 밀도 함수 및 다이나믹 타임 워프를 수행함으로써 가상 면접 지원자의 발음에 대한 평가 데이터를 생성할 수 있으며, 생성된 평가 데이터가 비분절적 요소에 관한 것인지, 분절적 요소에 관한 것인지에 따라 평가 데이터는 비분절적 특성 평가 데이터 또는 분절적 특성 평가 데이터로 나뉘게 된다.
여기서, 분절적 특성은 음성의 경우 문장, 구절, 음절, 단어, 음소 등으로 분리가 가능하고 세분화할 수 있는 항목을 말하며, 비분절적 특성은 음성의 경우 억양, 강세, 등시성 등과 같이 분절되지 않는 항목을 말한다. 즉, 분절적 요소인 음소의 첫 번째 포만트의 피크(peak)값은 분절적 요소의 특징이라 할 수 있고, 입력된 음성에 대한 등시성은 비분절적 요소 특징이라 할 수 있다.
확률 밀도 함수 및 다이나믹 타임 워프는 수치 데이터 및 패턴 데이터에 대한 비교 분석을 하는 것이기 때문에 각각의 평가치는 모두 분절적 특성 평가 데이터 및 비분절적 특성 평가 데이터를 동시에 포함하고 있다.
여기서, 분절 특징 평가 데이터는 음소, 단어, 음절, 구절, 문장으로 구성되며, 각각의 분절 요소는 해당 특징 데이터 및 비분절적 특성 평가 데이터를 포함하고 있다. 이때, 비분절적 특성 평가 데이터는 억양, 강세, 음의 길이(duration), 등시성 등으로 구성된다.
즉, 분절적, 비분절적 특성 평가 데이터는 확률 밀도 함수 및 다이나믹 타임 워프를 통해 생성된 평가치이고, 이는 요소별 가중치 생성에 의해 가중 처리된다. 결과적으로 가상 면접 지원자의 발음에 대한 모든 특징요소들은 가중치의 적용을 받아 하나의 점수 또는 각 분절적 요소에 대한 점수로 산출되며 이는 곧 가상 면접 지원자의 발음에 대한 수치적인 결과로 나타나게 된다.
도 4는 본 발명의 일 실시예에 의한 단어 선택부의 구성도이다.
도 4를 참조하면, 본 발명의 단어 선택부(22)는, 음성 인식부(21)로부터 제공된 단어에 대하여 질문 키워드에 근거하여 단어를 필터링하는 단어 필터링부(221)와, 필터링된 단어의 연관어를 검색하는 연관어 검색부(222)와, 검색된 연관어들 중에서 질문 키워드와 관련성이 가장 높은 연관어를 추출하는 연관어 추출부(223)를 포함한다.
여기서, 필터링되는 단어는 질문 키워드와 동일하거나 조사 등이 제거된 나머지 단어일 수 있다.
또한, 연관어 추출의 근거는 질문 키워드에 미리 설정된 유사도에 따른다.
도 5는 본 발명의 일 실시예에 의한 질문 추출부의 구성도이다.
도 5를 참조하면, 본 발명의 질문 추출부(23)는, 단어 선택부(22)로부터 전달된 연관어에 대하여 질문 키워드에 근거하여 지원자의 답변에 대한 면접 평가를 수행하는 면접 평가부(231)와, 면접 평가에 근거하여 유사 질문 또는 상이 질문의 방향을 설정하는 질문 방향 설정부(232)와, 질문 방향 설정에 대응하여 연관어에 링크된 질문을 선택하는 질문 선택부(233)와, 질문에 대한 영상 및 음성 출력 여부를 선택하는 영상/음성 출력선택부(234)를 포함한다.
여기서, 면접 평가부(231)는 사용자의 답변 중에서 질문과 연관되는 단어라고 판단될 경우에는 가중치를 부여하여 평가 점수에 반영하고, 사용자의 답변 중에서 질문과 연관되는 단어가 아니라고 판단될 경우에는 평가부에서 가중치를 부여하지 않는 방식을 이용하는 것이 바람직하다.
그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 음성인식 기반의 가상 면접 처리 방법에 대해 설명하기로 한다.
도 6은 본 발명의 일 실시예에 의한 음성인식 기반의 가상 면접 처리 방법의 흐름도이다.
먼저, 지원자가 사용자 정보 및 분야별 면접 종류를 음성인식 기반의 가상 면접 처리 시스템에 설정한 상태라고 가정한다.
도 6을 참조하면, 지원자가 음성 또는 사용자 조작부를 통해 가상 면접을 요청하면, 제어부(2)는 가상 면접 프로그램을 구동시켜(S1) 사용자 정보 및 분야별 면접 종류에 근거하여 요청된 면접을 실시할 수 있도록 제어한다.
제어부(2)는 사용자 정보 및 면접 분류의 설정에 근거하여 질문 추출부(23)에서 최초 질문 데이터를 추출하여 영상 출력부(24) 및/또는 음성 출력부(25)로 최초 질문 데이터를 전달한다. 이에 영상 출력부(24)에서는 해당 최초 질문 데이터를 디스플레이(3)로 전달하여 디스플레이(3)를 통해 해당 최초 질문 데이터가 출력되도록 하고, 음성 출력부(25)에서는 해당 최초 질문 데이터를 스피커(4)로 전달하여 스피커(4)를 통해 해당 최초 질문 데이터가 출력되도록 한다(S2).
최초 질문 데이터가 출력되면, 지원자는 이에 대한 답변을 시작하게 되고, 답변 음향은 마이크(1)를 통해 입력된다(S3).
마이크(1)에서는 음향신호를 생성하여 음성 인식부(21)로 전달하고, 음성특징 추출부(212)에서는 확률 밀도 함수 및 다이나믹 타임 워프를 통해 음성특징 저장부(211)에 미리 저장된 음성특징 데이터와의 비교를 통해 음향신호로부터 음성특징을 추출한다.
음성특징 저장부(211)에 저장된 음성특징과 동일한 음성이 있을 경우에, 해당 음성특징으로부터 음성을 추출한다(S4). 이어서, 해당 음성은 텍스트화부(214)에서 텍스트 데이터로 디지털화된다(S5).
텍스트 데이터에 근거하여 단어 검증부(215)에서는 텍스트 데이터가 단어인지 여부를 검증하게 되고, 중복되는 단어들의 카운팅도 이루어지게 된다(S6). 이 검증 결과는 발음정확도 평가부(216)로 전달되어 지원자의 발음정확도를 평가하게 된다(S7). 발음정확도 평가방식은 확률 밀도 함수 및 다이나믹 타임 워프를 수행하며, 후보 단어들의 개수에 반비례하여 발음정확도를 판정할 수도 있을 것이다. 즉, 발음이 부정확할 경우에는 후보 단어들이 많아지는 특성을 이용하거나 질문 정보와의 연관도 정도에 의해 평가가 가능할 것이다. 이외에 파형 분석 등을 이용할 수도 있을 것이다. 또한, 음성 인식부(21)에서 단어 추출에 성공한 단어와 실패한 단어를 분석함으로써 사용자의 발음정확도와 연계시킬 수도 있을 것이다. 한편, 사용자가 사용한 단어의 개수와 인식성공률을 기록하여 사용자의 발음정확도에 대해 수치로서 표시해주고, 반복적으로 사용하는 단어를 보여줌으로써 면접자가 습관적으로 사용하는 단어를 알 수 있도록 하는 것이 바람직하다.
이어서, 단어 필터링부(221)에서는 음성 인식부(21)로부터 제공된 단어에 대하여 질문 키워드에 근거하여 질문 키워드와 동일하거나 조사 등을 제거하는 필터링 과정을 진행하다(S8). 이에 단어 필터링부(221)를 통과한 단어들에 대하여 저장부(5)에 미리 저장된 연관어들을 검색한다. 이후, 연관어 추출부(223)에서는 검색된 다수의 연관어들에 대하여 질문 키워드와 관련성이 가장 높은 연관어를 추출한다(S9). 여기서 추출된 연관어는 다수개일 수 있다.
한편, 면접 평가부(231)에서는 단어 선택부(22)로부터 전달된 연관어에 대하여 질문 키워드에 근거하여 지원자의 답변에 대한 면접 평가를 수행한다(S10). 한편, 면접 평가부(231)에서는 사용자의 답변 중에서 질문과 연관되는 단어라고 판단될 경우에는 가중치를 부여하여 평가 점수에 반영하고, 사용자의 답변 중에서 질문과 연관되는 단어가 아니라고 판단될 경우에는 평가부에서 가중치를 부여하지 않도록 하는 것이 바람직하다.
이어서, 면접 평가에 근거하여 질문 방향 설정부(232)에서는 유사 질문 또는 상이 질문의 방향을 설정하게 된다(S11). 즉, 면접 평가에서 질문과 관련된 답변이라고 평가되면, 최초 질문 및 연관어와 관련된 질문을 추출하는 방향으로 설정하고, 면접 평가에서 질문과 관련된 답변이 아니라고 평가되면, 최초 질문 및 연관어와 관련된 질문과 전혀 상이한 질문을 추출하는 방향으로 설정할 수 있다. 또는, 질문에 적절한 답변이 이루어질 경우에는 분류별 면접 알고리즘에 대응하여 다음 질문을 준비하고, 만약 질문에 적절한 답변이 이루어지지 않았을 경우에는 적절한 답변이 이루어질 때까지 최초 질문과 관련된 질문을 출력할 수도 있다. 이러한 과정을 통해 질문의 의도를 사용자가 파악할 수 있도록 하며, 질문에 대응한 적절한 답변을 연습할 수 있도록 할 수 있다. 한편, 특정시간동안 사용자의 답변이 없을 경우에는, 다음 질문으로 진행하도록 하거나, 우회적인 질문을 통해 답변이 가능하도록 진행할 수 있다. 또는 사용자가 특정시간동안 답변이 없을 경우에 영상 및/또는 음성을 통해 다음 질문으로 넘어갈 지 여부를 인지시키도록 하는 것이 바람직하다. 만약, 이러한 영상 및/또는 음성이 출력된 이후에 사용자가 답변을 수행할 경우에는 해당 영상 및/또는 음성을 중단하도록 하는 것이 바람직하다.
이에 질문 방향 설정에 대응하여 질문 선택부(233)에서는 질문을 선택하면(S12), 영상/음성 출력선택부(234)에서는 질문에 대한 영상 및/또는 음성을 디스플레이(3) 및/또는 스피커(4)로 출력한다(S13).
한편, 본 실시예에서는 음성인식을 통해 면접의 질문 방향을 제어하는 기술에 대해 설명하고 있으나, 제어부(2)에 카메라를 더 접속시킴으로써, 카메라로부터 생성된 동영상을 데이터베이스에 저장할 수도 있을 것이다. 이러한 기능이 추가될 경우에, 상기한 특정시간동안 답변이 없을 경우에는 해당 구간의 동영상을 삭제하는 것이 바람직할 것이다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
2 : 제어부
21 : 음성 인식부
22 : 단어 선택부
23 : 질문 추출부
24 : 영상 출력부
25 : 음성 출력부

Claims (9)

  1. 가상 면접의 질문에 대응하여 입력된 음향으로부터 음향신호를 출력하는 마이크;
    음성인식을 통해 변환된 텍스트 데이터로부터 발음정확도를 평가하고, 질문 키워드에 근거하여 답변 단어의 연관어를 검색하여 다음 질문 정보를 추출함과 아울러 면접 평가를 수행하는 제어부;
    상기 제어부의 제어에 의해 다음 질문 정보 및 평가 결과들을 출력하는 출력부; 및
    질문 정보를 저장하고 있으며, 평가 결과들을 포함한 면접 과정을 저장하는 저장부를 포함하는 음성인식 기반의 가상 면접 처리 시스템.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 음향신호로부터 음성을 인식하여 텍스트 데이터로 변환하고, 상기 텍스트 데이터의 단어여부 검증을 통해 발음정확도를 평가하는 음성 인식부;
    상기 질문 키워드에 근거하여 단어의 필터링을 수행하고, 필터링된 단어의 연관어를 추출하는 단어 선택부;
    상기 질문 키워드와 상기 연관어의 답변 유사도를 평가하여 질문의 방향을 설정하여 상기 다음 질문 정보를 추출하는 질문 추출부;
    추출된 다음 질문에 대한 메시지를 포함하는 영상을 생성하여 출력하는 영상 출력부; 및
    추출된 다음 질문에 대한 음성을 생성하여 출력하는 음성 출력부를 포함하는 음성인식 기반의 가상 면접 처리 시스템.
  3. 제2항에 있어서,
    상기 음성 인식부는,
    음성특징을 저장하고 있는 음성특징 저장부;
    상기 음성특징과의 비교를 통해 상기 음향신호로부터 음성특징을 추출하는 음성특징 추출부;
    상기 음성특징 추출부에서 추출된 음성특징과 상기 음성특징 저장부에 저장된 음성특징과의 비교를 통해 음성을 추출하는 음성 추출부;
    추출된 음성을 텍스트 데이터로 변환하는 텍스트화부;
    텍스트 데이터의 단어여부를 검증하는 단어 검증부; 및
    단어여부 검증정도에 따라 발음정확도를 판단하는 발음정확도 평가부를 포함하는 음성인식 기반의 가상 면접 처리 시스템.
  4. 제2항에 있어서,
    상기 단어 선택부는,
    상기 음성 인식부로부터 제공된 단어에 대하여, 상기 질문 키워드에 근거하여 상기 단어를 필터링하는 단어 필터링부;
    필터링된 단어의 연관어를 검색하는 연관어 검색부; 및
    검색된 연관어들 중에서 미리 설정된 유사도가 가장 높은 연관어를 적어도 하나 이상 추출하는 연관어 추출부를 포함하는 음성인식 기반의 가상 면접 처리 시스템.
  5. 제2항에 있어서,
    상기 질문 추출부는,
    상기 단어 선택부로부터 전달된 연관어에 대하여 상기 질문 키워드에 근거하여 지원자의 답변에 대한 면접 평가를 수행하는 면접 평가부;
    면접 평가에 근거하여 유사 질문 또는 상이 질문의 방향을 설정하는 질문 방향 설정부;
    질문 방향 설정에 대응하여 연관어에 링크된 질문을 선택하는 질문 선택부; 및
    선택된 질문에 대한 영상 및 음성 출력 여부를 선택하는 영상/음성 출력선택부를 포함하는 음성인식 기반의 가상 면접 처리 시스템.
  6. (a) 가상 면접의 질문에 대응하여 입력된 음향신호에 대하여, 음성 인식부가 추출한 단어로부터 발음정확도를 평가하는 단계;
    (b) 단어 선택부가 상기 질문의 질문 키워드에 근거하여 상기 추출한 단어의 연관어를 검색 및 추출하는 단계; 및
    (c) 질문 추출부가 상기 질문 키워드 및 연관어에 근거하여 면접 평가를 수행함과 아울러 다음 질문 정보를 선택하여 출력하는 단계를 포함하는 음성인식 기반의 가상 면접 처리 방법.
  7. 제6항에 있어서,
    상기 단계 (a)는,
    상기 추출한 단어에 대하여 단어 검증부에서 단어여부를 검증하는 단계; 및
    상기 단어여부의 검증값에 따라 발음정확도 평가부에서 상기 발음정확도를 판단하는 단계를 포함하는 음성인식 기반의 가상 면접 처리 방법.
  8. 제6항에 있어서,
    상기 단계 (b)는,
    상기 음성 인식부로부터 제공된 단어에 대하여, 단어 필터링부에서 상기 질문 키워드에 근거하여 상기 단어를 필터링하는 단계;
    필터링된 단어에 대하여 연관어 검색부에서 연관어를 검색하는 단계; 및
    연관어 추출부에서 검색된 연관어들 중에서 미리 설정된 유사도가 가장 높은 연관어를 적어도 하나 이상 추출하는 단계를 포함하는 음성인식 기반의 가상 면접 처리 방법.
  9. 제6항에 있어서,
    상기 단계 (c)는,
    상기 단어 선택부로부터 전달된 연관어에 대하여, 면접 평가부에서 상기 질문 키워드에 근거하여 지원자의 답변에 대한 면접 평가를 수행하는 단계;
    면접 평가에 근거하여 질문 방향 설정부에서 유사 질문 또는 상이 질문의 방향을 설정하는 단계;
    질문 방향 설정에 대응하여 질문 선택부에서 연관어에 링크된 질문을 선택하는 단계; 및
    선택된 질문에 대하여 영상/음성 출력선택부에서 영상 및 음성 출력 여부를 선택하는 단계를 포함하는 음성인식 기반의 가상 면접 처리 방법.
KR1020130123386A 2013-10-16 2013-10-16 음성인식 기반의 가상 면접 처리 시스템 및 방법 KR101519591B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130123386A KR101519591B1 (ko) 2013-10-16 2013-10-16 음성인식 기반의 가상 면접 처리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130123386A KR101519591B1 (ko) 2013-10-16 2013-10-16 음성인식 기반의 가상 면접 처리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150044495A true KR20150044495A (ko) 2015-04-27
KR101519591B1 KR101519591B1 (ko) 2015-05-13

Family

ID=53036791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130123386A KR101519591B1 (ko) 2013-10-16 2013-10-16 음성인식 기반의 가상 면접 처리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101519591B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190118142A (ko) 2018-04-09 2019-10-17 주식회사 마이다스아이티 면접게임을 활용한 면접자 역량평가 추론 시스템 및 방법
KR20200069936A (ko) * 2018-12-07 2020-06-17 엘지전자 주식회사 미디어에 포함된 정보를 제공하는 장치 및 그 방법
KR20200108572A (ko) 2019-03-11 2020-09-21 신한대학교 산학협력단 구술평가서비스장치 및 그 장치의 구동방법
KR20210014526A (ko) * 2019-07-30 2021-02-09 주식회사 케이티 음성 합성 서비스를 제공하는 서버, 단말 및 방법
WO2021215804A1 (ko) * 2020-04-24 2021-10-28 삼성전자 주식회사 대화형 청중 시뮬레이션을 제공하는 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030541B1 (ko) * 2017-12-19 2019-10-10 주식회사 한글과컴퓨터 Vr 기반의 프레젠테이션 발표 연습을 가능하게 하는 hmd 장치 및 그 동작 방법
WO2020149621A1 (ko) * 2019-01-14 2020-07-23 김주혁 영어 말하기 평가 시스템 및 방법
KR20220082257A (ko) 2020-12-10 2022-06-17 주식회사 투비유니콘 확률함수를 이용한 자연어의 인식률 계산방법으로 자연어를 분석하는 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012215645A (ja) 2011-03-31 2012-11-08 Speakglobal Ltd コンピュータを利用した外国語会話練習システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190118142A (ko) 2018-04-09 2019-10-17 주식회사 마이다스아이티 면접게임을 활용한 면접자 역량평가 추론 시스템 및 방법
KR20200069936A (ko) * 2018-12-07 2020-06-17 엘지전자 주식회사 미디어에 포함된 정보를 제공하는 장치 및 그 방법
KR20200108572A (ko) 2019-03-11 2020-09-21 신한대학교 산학협력단 구술평가서비스장치 및 그 장치의 구동방법
KR20210014526A (ko) * 2019-07-30 2021-02-09 주식회사 케이티 음성 합성 서비스를 제공하는 서버, 단말 및 방법
WO2021215804A1 (ko) * 2020-04-24 2021-10-28 삼성전자 주식회사 대화형 청중 시뮬레이션을 제공하는 장치 및 방법

Also Published As

Publication number Publication date
KR101519591B1 (ko) 2015-05-13

Similar Documents

Publication Publication Date Title
KR101519591B1 (ko) 음성인식 기반의 가상 면접 처리 시스템 및 방법
AU2016216737B2 (en) Voice Authentication and Speech Recognition System
US9653068B2 (en) Speech recognizer adapted to reject machine articulations
US20160372116A1 (en) Voice authentication and speech recognition system and method
WO2021017612A1 (zh) 基于语音分析的问答方法、装置、设备及存储介质
US11145222B2 (en) Language learning system, language learning support server, and computer program product
US20130110511A1 (en) System, Method and Program for Customized Voice Communication
US10755595B1 (en) Systems and methods for natural language processing for speech content scoring
CN109741734B (zh) 一种语音评测方法、装置和可读介质
KR20080086791A (ko) 음성 기반 감정 인식 시스템
CN107767881B (zh) 一种语音信息的满意度的获取方法和装置
Ahsiah et al. Tajweed checking system to support recitation
CN110099332B (zh) 一种音频环境展示方法及装置
KR102113879B1 (ko) 참조 데이터베이스를 활용한 화자 음성 인식 방법 및 그 장치
Lopez-Otero et al. Compensating Gender Variability in Query-by-Example Search on Speech Using Voice Conversion.
Kruspe et al. A GMM approach to singing language identification
KR100701271B1 (ko) 온라인 외국어 인터뷰 학습 및 평가 시스템과 그 시스템을이용한 인터뷰 학습 및 평가 방법
CN111475634B (zh) 基于座席语音切分的代表性话术片段抽取装置及方法
KR102274751B1 (ko) 평가정보를 제공하는 사용자 맞춤형 발음 평가 시스템
KR102274764B1 (ko) 통계정보를 제공하는 사용자 맞춤형 발음 평가 시스템
Dong et al. Automatic assessment of pronunciation quality
SUCIU et al. SPEECH RECOGNITION SYSTEM.
Segărceanu et al. SPEECH RECOGNITION SYSTEM
Kokkinidis et al. Finding the optimum training solution for Byzantine music recognition—A Max/Msp approach
Rüegg et al. Bachelor thesis (Computer Science)

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180531

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190507

Year of fee payment: 5